Benchmark LLM-iek

Rovnaké GTA zadanie, rozdielne hry.

Modely začínajú rovnakým náročným zadaním: vytvoriť v prehliadači 3D open-world mesto inšpirované Miami s autami, chodcami, políciou, misiami a syntetizovaným zvukom. Najsilnejšie výsledky sú hrateľné, ale aj tie majú chyby; nižšie umiestnené výstupy sú neúplné alebo nehrateľné.

Výsledkov
14
Hrateľné výsledky
11
Demá na vyskúšanie
14
Metóda
Spoločný základ + ladenie

V skratke

  • Každý model začína rovnakým náročným zadaním vytvoriť 3D mestskú open-world hru v prehliadači.
  • Výsledky hodnotím z pohľadu funkčnosti, hrateľnosti, zábavnosti a prepracovanosti hry.
  • Na prvom mieste je momentálne rozsiahla open-world hra od Claude Fable 5.1.
  • Následné ladenie je povolené iba v rozsahu pôvodného zadania a je pri každom behu zdokumentované.

Kompletné poradie

Výsledky a hrateľné demá

Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.

Filtrovanie
Typ
Parametre
Autori
Poradie GTA benchmarku Subjektívne poradie podľa praktického výsledku v tomto benchmarku
Náhľad Model Typ Počet parametrov / požiadavky** Výsledok Chyby Poznámka Demo
Gameplay screenshot GTA hry vygenerovanej modelom Claude Fable 5.1 1Claude Fable 5.1 Uzavretý Splnil zadanie Hrateľný Veľa chýb

Prompty po pôvodnom zadaní

Úplný zoznam následných promptov v pôvodnom znení a poradí.

  1. Následný prompt 12026-09-05 16:34
    Try again
  2. Následný prompt 22026-09-05 18:20
    Mas tam chyby, pohyb mysi smerom hore naklana postavu dole, mas to prehodene, postava pri stlaceni sipky A sa pohybuje doprava a pri stlaceni sipky D sa pohybuje doprava, ma to byt opacne. Dalej ked nastupim do auta tak sa auto stoji, pri pohybe byciklom sa kamera pozera dozadu namiesto dopredu. Dalej neviem vystupit z bycikla. Vodici sedia vlavo namiesto vpravo. Auta su divne, pozri sa ako vypada a trocha na nich zapracuj
  3. Následný prompt 32026-09-05 18:41 · 2 screenshoty
    Mas tam stale vela chyb: 1, pri riadeni auta alebo byciklu je kamera nizko, pozri si prvy screenshot. 2, auta su stale rozbite vid druhy screenshot 3, z aut sa neda vystupit, stale nasadnem spat
  4. Následný prompt 42026-09-05 18:54 · 1 screenshot
    pozri si screenshot, nie su tam asfaltove cesty, iba na krizovatke, toto som si vsimol po celej mape
  5. Následný prompt 52026-09-05 19:01 · 1 screenshot
    Stavaju sa taketo situacie, chodci postavaju uprostred krizovatky, auta stoja a trubia, pridaj asppn reakciu chodcov, ze ked stoja na ceste a vidia auto alebo auto na nich trubi tak zidu z cesty na chodnik
  6. Následný prompt 62026-09-05 19:16 · 1 screenshot
    Ked som na bicykli pocujem motor co je blbost, navyse nepedalujem
  7. Následný prompt 72026-09-05 19:22 · 1 screenshot
    Tu nemusi byt diera do tunela vid prvy screenshot. A mam taku otazku, teraz vsetky auta sa ovladaju rovnako a maju rovnake jadne vlastnosti?
  8. Následný prompt 82026-09-05 19:52 · 2 screenshoty
    Auta bez strechy (vid prvy screenshot) nech maju aj nadizajnovany interier, teda sedacky, palubnu dosku s volantom. A tu pri vjazde do tunela respektive nad tunelom (vid druhy screenshot) sa mi deje ake nieco ze narazi akoby do neidentifikovaneho objektu a neviem ist dalej, neviem ci to je tym miestom alebo autam vedla mojho, inak toto sa mi staloa j pri jazde na bycikly kedy som obchadzal ine auto a bol som tak 1-1.5m od neho, tak som nevedel ist dalej. A na jazde na bycikly by som rad vedel zrychlovat, rychlejsie slapat ked pridam, myslim shiftom cim aj bezim, a nech ma potom nejaky dojazd, nech sa hned nezastavai ale plynule pomali spomaluje v zavyslosti ci ide na rovine alebo do kppca, v pripad ezjazdu z kopca nech sa zrychli, rposte ako realny bike, aj ked prestanem drzat sipku
  9. Následný prompt 92026-09-05 22:34 · 10 screenshotov
    Stale mas nejake problemy so vstupom do tunela, napr. na prvom screenshote je nejaka stena v tunely (vid prvy screenshot a tiez na konci tunela je stena vid stvrty screenshot), potom na drhom vidis vstup do tunela ktory je spravny ale par metrov prejde a vidim za stenu do vstupu tunela vid lava cast tretieho screenshotu. Dalej stale akoby som pocul zvuky alarmu aj ked neukradnem ziadne auto aj ked ma zabiju alebo zaktnu a zacinam od znova tak pocujem alarm. Auta parkuju zle, nedodrziavaju biele ciary parkuju otocene o 90 stupnov opacne. Dalej neviem ci si riesil to odlisenie jazdnych vlastnoti jednotlivych aut, lebo vsetky sa mi asi rovnako naklanaju, aj sportove nizkopolozene auta. Prehodnot to, maju sa naklanat najma tazke vysoke auta, nizkopolozene sportiaky sa maju naklanat menej alebo vobec, stredne nizke auta tiez pomerne malo sa maju naklanat, proste ako v realite nech to je. Navyse extremne velmi sa otacaju, prehodnot citlivost otacania. Pri motorkach je to najvacsi extrem ta citlivost otacania, skoro sa nedaju ovladat. A co sa tyka ovladania, nastupovanie cez tlacitko F je standard? Mam tendenciu stlacat E. A ked sa stmieva, tak lampy sice vipadaju ze su zapnute ale nevidim ziadne svetlo pod nimi (vid siesty screenshot). A nebo je nejake zelene po zapade slnka (vid siedmy screenshot), nema byt skor v inych farbach, to je zamer? A hviezdy su nejake moc velke pixely, to je zamer? Moje auto svieti co je super (vid osmy screenshot) ale ostatne auta nesvietia, oprav to. A vsimol som si ze mapa v nahlade v lavom dolnom rohu je asi otocenena hore nohami a myslim aj sopka mojej postavy na mape je otocena. Vjazd na dialnicu je nejaky uzky, a ma na zaciatku odskok od zeme, a nenapaja sa plynule na dialnicu, ma tam sa napojit do subezneho pruhu ktory ide 20-50 metrov popri dialnici tak ze je napojeny priamo na dialnicu a postupne sa potom zuzi k dialnici, vies co myslim? Proste ako je to v realite. Navyse dialnica ma nejake diery cez ktore hned prepadnem, su hend za pripajacom, vies si to otestovat a uvidis ze auto sa prepadne. Dalej dialnica ma iba z jednej strany pripajacie pruhy, mala by mat z oboch, a na dialnici nevidim ziadne auta a ani pruhy, a v strede nie je betonovy oddelovac taka ko to ma byt. A posledna chyba, palmy. A este jedna chyba, ked ma zatkli policajti tak po novom starte stale pri chodzi mam zdvihnute ruky, myslim ze som ich mal aj ked ma zatykali alebo nieco take, pozri sa na to. A este jedna vec, byciklovanie trocha pozmen, nezda sa mi ze zrychluje pri shifte stlacenom, minimalne nevidim ze by rychlejsie pedaloval, a to spomalovanie bicykla tiez akosi nevidim ked pustim plyn, nemoze ist donekonecna, musi sa spomalit, napr. do 20-30 metrov pri normlanej rychlosti na rovine. Teraz mam pocit ze prejdem 50-100 a metrov. Na biku navyse neviem pomaly krokom cuvat. Navyse ked stojim tak sa jednou nohou nedotykam zeme. A ked pedaluje, nohami, tak nohy su presne opacne ako pedale. A este som si vsimol taku bizarnu vec, videl som lietadlo ist po zemi vez mesto a budovy. A uz uplne posledna vec, pori si slnko ako vypada.
  10. Následný prompt 102026-09-06 00:07 · 11 screenshotov
    Precitaj si TODO.md pre istotu. Nech postava na bycikli pedaluje aspon 2 krat rychlejsie pri sprinte nez pri normalnom pohybe, a bycikel nech zajde 2-3 nasobne vacsiu vzdialenost po tom com prestane slapat teda hrac drzat sipku dopredu. Auta stale parkuju otocene vid prvy screenshot. A zaparkovane auta maju svetla akoby zasvietene ale nesvietia len ta textura svetiel sa nemeni podla toho ci su auta nastartovane a s vodicom. Citlivost aut pri otacani je teraz prilis nizka, zvys ju ale trocha zatial. Motorka je tak akurat, mozno malinko ale velmi malinko zvys citlivost, menej nez autam. Dalej ked idem nocnym mestom tak budovy divne preblikuju, urob si vizualnu kontrolu a oprav to. Palmy nemaju hornu cast spojenu s kmenom, vid druhy screenshot. Niektory ludia divne lezia vid treti screenshot postava napravo, alebo divne sedia vid stvrty screenshot. Dalej myslim ze semafory neustale zobrazuju tie iste farby aj ked sa mi zda ze asi je regulovana premavka. Ked udrem nejaku postavu tak sa casto deje ze ked uteka pre do mnou tak bezi ale do boku, nie v smere otocenia postavy, pozri si to. A pozri si piaty screenshot je tam budova ktora ma pred sebou akesy stvorce, akoby si tam nakreslil okna ale pred nou v priestore levituju. A mas par ulic kde sa divne prekryvaju textury roznych ciest, pozri si siesty screenshot. A stale si nevyriesil tie privadzace na dialnicu, vid siedmy screenshot. Maju byt sirsie a plynule sa napojit na dialnicu tak ze hned nevyustia do pruhu kde jazdia auta ale vytvoria si vlasnty pruh ktory ide paralelne s dialnicou a ma asi tak 30-50 metrov a na konci sa plynulo zaradi do dialnice, chapes ako to myslim? Proste ako byvaju realne privadzace na dialnicu. A dialnica nema po celej dlzke v strede betonovy murik vid osmy screenshot, a tiez nema po celej dlzke zabradlie, vid rovnaky screenshot, samozrejme tam kde su privadzace tak tam nema byt murik po pravom okraji lebo murik ma mat privadzac. A vsimol som si ze ty si uz riesil privadzace ale nedoriesil si ich uplne, vid deviaty screenshot. A podobne ako riesis privadzace tak ries aj napojenie medzi dvoma dialnicami. A dialnicnia krizovatka dvoch dialnic nema zo vsetkych smerov na vsetky smery spravene privadzace, pozri sa na to poriadne. A pozri si aj koniec dialnic vid desiaty screenshot, nie je to pekne napojenie na cestu. Celkovo si pozri 90 stupnove zahnutia stvorprudovych ciest aj dvojprudovych, mas to asi zle riesene.
  11. Následný prompt 112026-09-06 01:09 · 6 screenshotov
    Tak skusam to a je tam par veci co oprav: auta stale tazkopadne sa otacaju, pisal som ti aby si zvysil citlivost, nesrpavils i to. To iste mas urobit pre bicikel. Dalej ked dam sprint na bicikly tak nech zrychlenie, stale nezrychlujes bicykel ked mam sprint, a zniz rychlos slapania pri sprinte, nech to je tak 1.8 nasobok normalneho slapania. Dalej ked sa naklanam bicyklom alebo s motorkou tak postava sa nenaklana rovnako ako motorka / bicykel, skontroluj si to a oprav to. Tento most ktory je v casti "Sandbar heights" ma takuto medzeru cez ktoru presvita voda vid prvy screenshot. A zasenemas to napojenie na dialnicu spravne vyriesene vid druhy a treti screenshot. Lampy zasvecujes az ked sa k nim priblizim, je to koli optimalizacii vykonu? Ak ano tak minimalne to pridaj ako volitelne nastavenie niekde v settingoch. To iste pre auta, nech to jednym nastavenim viem nastavit v akej vzdialenosti sa mi maju zobrazovat svetla. Ked som pod dialnicnou krizovatkou tak vidim skrz dialnicu nebo vid stvrty screenshot, asi to tam nebude dobre vidiet. A dialnicna krizovatka ma uz zlepsene privadzace medi dialnicami ale stale to nie je bez chyb vid piaty screenshot. A betonove oddelovace v strede dialnice musi byt bez vynimky po celej dlzke dialnice, ziadna medzera tam nesmie byt ani pri krizovatkach ani pri zjazdoch na dialnici!!! A vsetky mosty dialnice a dialnicnych privadzacov si skontroluj ci cesty pod nimi maju dostatocnu vysku aby to nedopadlo tak ako vidis na siestom screenshote kde vidis dialnicu ktora blokuje cestu, to je ten betonovy mur pred autom.
  12. Následný prompt 122026-09-06 03:31
    I hit my usage limit while you were working, but it has reset now. Please continue from where you left off.
  13. Následný prompt 132026-09-06 11:56
    Neviem co si urobil ale oproti vcerajsku to strasne seka, vytazuje to na 100% grafiku co mi nevadi ale seka to ak ze ide mit o 2-3 frejmy za sekundu. Vcera mi to slo tak 10-20 fps
  14. Následný prompt 142026-09-06 12:34 · 10 screenshotov
    Pozri si vstupu tunelu, ma na vrchu nejaky dlhy precnievacjuci betovony hranol (vid prvy screenshot). Co roby clovek nad barom (vid druhy screenshot)? Neda sa mi opyt, stlacam E nic sa nedeje (vid treti screenshot). Navyse som si vsimol ze ked sa opiju aj iny ludia a zacnu utekat napr. koli bitke s inym tak bezia rovnako rychlo ako triezvy hoci sa potacaju, netreba ich spomalit a to iste aj mna opyteho? Len sa pytam necham to na teba. Dalej auto uz po jednom dvoch narazoch czacne dymit a po par narazoch zacnehoriet, je to moc prisne , ci? Dalej ked jazdim na vyssich autach SUV atd. tak sa az velmi neprirodzene naklanaju, trocha uber z naklanania, mozno ho zniz pre vsetkya uta aj na polivicu. A tie svetla teraz ked zacala noc tak stale vidim ako sa postupne zasvecuju az ked sa priblizim (vid stvrty a piaty screenshot kde vidis auta a lampy v blizkosti ktore svieta a v dialke ktore ensvieta) , to je naschval napr. koli tomu vykonu aby to nezacalo sekat? Neda sa to riesit nejako ze v dialke budu horsie malo kvalitne osvetlenie a az ked sa priblizim tak sa prepne na to sucasne? Teraz v dialke su vypnute a az ked sa problizim sa rozsvietia. Dalej sipka na velkej mape je presne opacne, na malej je v poriadku. Privadzaz na dialnicu uz vypada v poriadku, akurat tam este presvita mantinel po pravej strane vid siesty screenshot, a na konci privadzaca to je takto oseknute a bez betonoveho mantinela vid siedmy screenshot, a po par metrov od privadzaca je spravne zakoncenie privadzaca na dialnici ale je to samostatny user ktory je s predu orezany (vid osmy screenshot), pozri si to poriadne ked vyjdes na dialnicu prejdi si tak 50-100 metrov. Dialnica usti na konci pristavacej drahy, nemal by sa jej vyhnut alebo ist pod zem v tej casti (vid deviaty screenshot) ? A pripajac z havnej trojpruhovej dialnice na dvojprudovu dialnicu je stale zle spravena, spravu ju tak ako vidis na desiatom screenshote. A posledna vec, pridaj neviditelne cheaty, medzi ktorymi bude aj prepinanie noci a dna nech nie su viditelne v ziadnom okne, iba ked napisem cheats.
  15. Následný prompt 152026-09-06 13:03
    cize svetla si nevyriesil?
  16. Následný prompt 162026-09-06 13:17 · 1 screenshot
    Tie stvetla stale vypada ze sa zasvecuju az ked sa k nim priblizim, respektive to doslova tak posobi ze sa to zasvieti. Navyse som si vsimol ze autanejako divne svietia, maju takovy divny luc uprostred vid prvy screenshot. A pridaj mi este cheaty pre presnu medzi lokaciami, nejakych par lokacii
  17. Následný prompt 172026-09-06 13:32
    ked otvorim cheats onkno nech sa mi zatvori nejako, napr. esc-om, a tiez po zadani cheatu. To plynule rozosvecovanie a zhasinanie svetiel by si mal spravit aj pre auta. A auta hlavne na dialnici som si to vsimol svieti akoby len doprostred jednym lucom, navyse nemaju biele / svetle textury na svetlach. A co sa tyka pouzivania tych drahsich svetiel, nemozes to zvacsit tak 2-3 krat na vacsiu dialku to rozosvacovanie, ci to bola pricina toho extremneho sekania? A neda sa to len pre viewport, respektive len trocha viac nez je viewport aby ked sa otocim o par stupnov do jednej strany tak aby svetlo v dialkenezhaslo tak ze uz neuvidim jeho dopad aj na textury ktore vidim vo viewport. Samozrejme by toto bola kombinacia nejakeho blizkeho okolia kde by boli drahsie svetla vzdy zapnute napr,do 20-30 metrov a vzdialenych ktore a kreslia iba v rozsirenom viewporte? Co na to hovoris? A este par drobnosti, pobcas vidim lud na dialnici, toto sa nema stat. A dalsia vec, postavy sa opaluju a na plazy aj v noci, toto nejako domysli ale nie tak ze ked tam budem stat a cakat na zatmenie tak zmiznu, nech sa postavia a odidu niekam a naopak ked uz je nejaky cas stvetlo tak pridu, nemusia hned, skore rano byvaju plaze este prazdne predpokladam.
  18. Následný prompt 182026-09-06 14:07 · 5 screenshotov
    Obcas sa ludia takto zhlukuju, neviem co to ma znamenat, stale akoby chceli ist ale idu proti sebe (vid prve dva screnshoty). Postavy niekedy si nevedia sadnut na lavicku vid treti screenshot. "Tvoj návrh som zobral presne tak: do 28 m sú skutočné svetlá vždy, ďalej sa rozpočet 14 svetiel míňa len v rozšírenom zornom poli (zorný uhol kamery + 25° na každú stranu, takže pri malom otočení svetlo nezhasne). Namerané: predtým dosah 55 m dookola, teraz ~100 m dopredu a nič za chrbtom okrem najbližších." to si robil aj pri lampach? Dalej auta okrem mojho maju skrizene svetlomety, oprav si to. Svoje auto vobec skoro nepocujem, nevyhodil si zvuk mojho auta? A pozri si stvrty screenshot hlavne jeho pravu hornu cast parkoviska , su tam takove graficke argetafakty takove obdlzniky rozdelujce nasvietenu cast od nenasvietenej, svetlo sa nejako divne nasvecuje na texturu, vsak pozri si to, viac to vidiet ked sa hybem kamerov, neustale to mihota. Vidiet to na parkoviskach pod lampou v noci. Dalej motorka ma mat 1 svetlomet, ci? Bycikel ma mat slabsi svetlomet, 2-3 nasobne slabsi nez auta. A ktym chodcom, vid piaty screenshot, tam je vidiet chodca na zjazde na dialnici. A aj ten ziazd ma chyby ktoru tam vidis. A este k zvukom, neustale pocujem takove zvuky ako velmi rychle pipanie alebo akoby som a tiez pocujem nejake akoby zapnuty alarm na aute, co to je? A chcem aby som mohol ovladat auto aj cloveka sipkami, nielen klavesami wsad. A posledna vec, auta stale tazkopadne sa otacaju aj pri pomerne malych rychlostiach, sprav s tym nieco, neviem normalne ani zabocit v krizovatku, musim skoro zastavit. Nemusis to 2-3 nasobne zvysovat citlivost, staci ked 1.8-1.5 nasobne. Vo vacsich rychlostiach sa ovladaju dobre, akurat to zabacanie pri stredne malych. Nejako to rozumne vyries ale nie tak ze pridas 2 rozne ovladani jedno pre male a jedno pre rychly pohyb. A pri cheatoch, chcel by som si aj vediet vybrat misiu.
  19. Následný prompt 192026-09-06 14:42 · 1 screenshot
    raz sa mi stal taky bug ze postava neustale isla dopredu alebo do boku a nevedel som to prestat, pre istotu daj nejaky eset pri esc ze sa miresetne ovladanie. Cyklisti maju teraz iba jednolucove svetlo (vid prvy screenshot), prilis slabe a hlavne vypada ako luc na ploche, nerozprostiera sa na strany, toto je problem aj u aut, len tam su 2 taketo luce. Moje auto svieti v poriadku, nemozes to aj pre ostatne auta tak spravit, alebo to by bolo prilis vypoctovo narocne? Dalej rozmyslam ze nevidim zeny, su tu zeny? Ak nao tak necha mju trocha zvyraznene boky alebo prsia. Dlaje dodavky su divne naklonene smerom dopredu, a maju nejaky divny obdlznik and strechou ktory nie je spojeny s kapotou. Dalej neviem ci tu su. niekde nejake zbrane po mape rozhodene, ak nie pridaj ich na mierne skryte miesta, nech je to ako v gta-cku a neviem ake su variacie zbrani, je tu samopal, bazuka, granaty, mec? A tiez lekarnicky ak chybaju pridaj niekde tiez v bocnych ulickach ale nie do ulic kde chodia auta, proste zbrane aj lekarnicky do priestorov medzi budovami, alebo skrytych parkovisk ktore su viac od ulice, tak nech to nei je vidiet hned na ulici. A daj si zalezat na tom ako zbrane sa drzia v ruke a ako vypadaju, ako sa snich striela repsketive ako sa aktivuju. Dalej ked nastupim do auta tak moje nohy nesmu presvitat cez podlahu auta, a ak je to auto uzatvorene tak ani hlava, kludne to vyries tak ze ked nastupim tak ma nebude vidiet. A tiez trocha sa pohraj s nastupovanim do auta, teraz je tokove divne. aj ked vytahujem cloveka z auta. "„Alarm na aute“ bola hudba z baru, dvojtónová melódia štyrikrát za sekundu. Barový groove je pomalší a mäkší." Stale to pocujem, nevies tam spravit iny zvuk z baru? Vobec to nepripomina zvuk z baru ale ako alarm. A shift stale nefunguje na zrychlenie bycikla!!!!
  20. Následný prompt 202026-09-06 14:57
    Tie dodavky nemaju kolesa, nevidno ich. Pohraj sa z ich dizajnom. Atua si dokazal dobre namodelovat, tak preco dodavky nie? A autobusy maju kvader nad strechou, a tiez asi nevidim kolesa. pozi sa na to. A zbrane nemozu byt len tak na ulici porozhadzovane, musia byt skrite a musia sa zobrazovat ako zbrane otacajuce sa okolo z-osi. To iste lekarniciky musia byt skryte! A zbran nedrzi dobre!! Drzi akoby hore hlavnou ked striela. Povedal som ti daj si zalezat na nich, a aj na ich dizajne, nech sa trocha podobaju, mozu mat ten minecraftovsky styl, ale nech sa podobaju na realne zbrane. A pridaj cheaty na vsekty sbrane nech si ich odskusam
  21. Následný prompt 212026-09-06 15:06 · 1 screenshot
    v centre sa vyskytuju niekde budovy ktore sa krizia z asfaltovou cestou vid screnshot.
  22. Následný prompt 222026-09-06 15:35
    Ked hadzem granaty a molotove kokteily tak nech to leti tam kde to realne dopadne, teraz to asi vobec neriesis, a mas asi defaultnu animaciu hodenia. Molotov kokteil nech vypada ako molotov, cize 2 valce a a na konci zapalena ponozka. Granat nech nie je iba ako gula ale nech to trocha pripomina granat ked to hodim. Dalej ked zacnem strielat bez mierenia, tak tym ze defaultne som natoceni k zemi pohladom tak aj mierenie mieris do zeme to je zle, toto treba premysliet. Zeny uz vyapadaju ze maju prsia, ale nodomyslel si to ze ked maju odhalenu hornu cast tak maju odhalene aj prisa, nech maju vtedy zahalene prsia a brucho nech maju odhalene, vies ako to myslim. A nech maju rozne velke prsia a roznych tvarov. Niektorymmuzom moze pridat brucho a niektore postavy mozu byt obeznejsie, mat sirsie nohy a ruky a trup s velkym bruchom, vtedy pomalsie nech bezia. Hudba pri bare je super, mozes ju rozsirit a zhlucnit. Ked sa napijem nech nezacnem samovolne pobehovat.
  23. Následný prompt 232026-09-06 15:44
    a este jedna vec, ked ma zabiju alebo zatvoria tak nech pridem o zbrane
  24. Následný prompt 242026-09-06 15:47
    a posledna vec, kolko missii je v hre? A ake?
  25. Následný prompt 252026-09-06 15:48
    co jednotlive missie prestavuju?
  26. Následný prompt 262026-09-06 15:50
    ti misie maju aj nejake intro? Len sa pytam?
  27. Následný prompt 272026-09-06 15:52
    a zvladol by si nieoco take ako mini "filmove" sceny pred misiami? Len sa pytam
  28. Následný prompt 282026-09-06 15:54
    Mimochodom to mierenie si stale nevyriesil pri mode bez mierenia. Vies co myslim?
  29. Následný prompt 292026-09-06 15:59
    ta gulicka sa pri strielani bez mierenia asi nezhoduje s tym kde strielam ci? A pri plazy je takovy plot, ludia cez neho bezne prechadzaju, neriesis tam koliziu, pridaj ju, a pridaj don vela vchodov
  30. Následný prompt 302026-09-06 16:05
    to automaticke mierenie nech nejde automaticky na kazdu postavu, lae len na nepriatelov a tych co su so mnou v konflikte, a na policiu
  31. Následný prompt 312026-09-06 16:12
    a tiez na auta automaticky nemier pokial to niee su nepriatelske auta alebo policajti,a to ist nech je pre motorky a bicykle
  32. Následný prompt 322026-09-06 16:18
    ked sa prepnem na mierenie tak mi zobrazuje mierenie dole, nech je rovnako posunute hore ako ked strielam bez mierenia, chapes co myslim? A nech viem strielat aj nejakou klavesou, napr. ctrl alebo cmd alebo alt
  33. Následný prompt 332026-09-06 16:21
    ok, funguje to mierenie je v rovnakej pozicii ale ked prestanem mierit tak nech mi vrati poziciu kamery teda len to pod akym uhlom som sa pozeral dole
  34. Následný prompt 342026-09-06 16:25
    ludia stale nevedia sediet na lavickach. Co sa tyka strielania, tak asi cmd nie, lebo mi to vypina prehliadac. A pozri si ako bejzbalku drzi, a predpkladam ze tam mas aj mec, zle to drzi zle sa bije s nou
  35. Následný prompt 352026-09-06 16:29
    ked som opytu nech sa mierne kymacem aj ked stojim
  36. Následný prompt 362026-09-06 16:36 · 1 screenshot
    ludia stale nevedia sediet na lavicke, vid sceenshot. Ked sa nacitava mesto nevidim stupajuci progressbar. Tato hra bude na webe, a bude sa chvilu nacitavat, tak nech to vidim ako dlho to trva
  37. Následný prompt 372026-09-06 16:41
    ked som pri ludoch ktory sa bavia medzi sebou tak nic nepocujem , ziadne hlasy, nieco co by pripominalo nejaku mluvu, nieco ako simstina, alebo aspon nejake zvuky
  38. Následný prompt 382026-09-06 16:47
    a beziaci maju pod sebou takovy divny obldznik farebny, vsimni si to. A tie hlasy ludi rozpravajucich sa stale su slabe
  39. Následný prompt 392026-09-06 17:04
    a teraz sa pobavme o tych leveloch a intrach
  40. Následný prompt 402026-09-06 17:07
    viesco kaslem na to teraz, malo to byt len benchmark, uz tak som to dost napromptoval. Chcem vsak si mat moznost zapnut lubovolnu misiu, a navyse ked dohra hrac tak nech si vie tu misiu odpisat a pokracovat od nej
  41. Následný prompt 412026-09-06 17:43
    zapracuj na umelej inteligencii jazdcov, namiesto vyhybania sa prekazkam tak bud do nich narazia alebo spomalia, su preto velmi lahky supery
  42. Následný prompt 422026-09-06 18:07 · 1 screenshot
    Ked zapnem hru, ocitnem sa tu v noci. To je vychdodzi stav? Vzdy som zacinal cez den na podobnom mieste ale otoceny opacne
  43. Následný prompt 432026-09-06 18:24
    to ukladanie sa ukalda do cookies
  44. Následný prompt 442026-09-06 18:25
    Budu to pouzivat viacery uzivatelia z mojej stranky, kazdy bude mat vlastne nastavenie?
  45. Následný prompt 452026-09-06 18:28
    pridaj moznost pri starte si zvolit ci chcem od poslednej pozicie alebo od zaciatku a tiez settings ktore sa mimochodom nech zobrazuje aj pri mape a tam nech mam moznost nastavit viacere parametre vratane rozlisenia, otazka rozlisenia by bola asi tak ze nie kolko width x height ale kolko pixelov na 1 pixel hry, co myslis? A tiez nejake nastavenia ako daleko sa maju zobrazovat objekty, svetla atd. proste tak ze by sit o vedle nastavit aj clovek ktoremu to bude skeat. A tiez mozno aj controls nastavenia
  46. Následný prompt 462026-09-06 18:39
    a pridaj moznost load, kde budu posledne pozicie ktore som mal ulozene, napr. poslednych 10, vzdy ked vyriesim nejaku misiu tak nech sa ulozi
  47. Následný prompt 472026-09-06 18:56
    pozeram tu tvoju konstrukciau a nevidim ze by boli spojene tie casti medzi sebou
  48. Následný prompt 482026-09-06 19:03 · 2 screenshoty
    nech nie su v kolizii s plotom a s cestou tieto a dalsie kontajnery vid prvy screenshot . Voda nech nekonci po par metrov od brehu ale nech konci vo velkej dialke vid druhy screenshot.
  49. Následný prompt 492026-09-06 19:21 · 1 screenshot
    autam svetlomety sa nezafarbia na bielo ked maju zapnnute svetla
  50. Následný prompt 502026-09-06 19:31
    Chcem aby si si zaviedol AGENTS.md v ktorom si spises vsetko podstaten o tomto projekte aby si po restarte vedel alebo dalsi agent pokracovat, necham to na teba ako a co si zapises
  51. Následný prompt 512026-09-06 19:44
    a este posledna vec, toto bol pobodne jedno promptovy benchmark, s tym ze sa max ovladanie a nejake kriticke chyby opravia, ale nechal som sa uniest tym vysledkom ktory bol po prvom prompte fantasticky, tak som to postupne opravoval ovela viac nez som povodne planoval. Vies mi zostavit vsetky prompty ktore som pisal v tejto konverzacii a zapisat ich do specialneho md subora ktory potom prilozim agentovi spravujucemu benchmarky aby pridal ako specilanu poznamku tento zoznam promptov?
  52. Následný prompt 522026-09-07 · post-benchmark fullscreen and mobile UI maintenance
    chcem aby si chirurgicky presne s minimalnym zasahom pridal fullscreen do settingov! Dokazes to? Nechcem aby sa kompromitovala hra, ma to byt velmi maly presny minimalisticky zasah do hry. V rovnakom post-benchmarkovom UI zasahu boli doplnene tlacidla Close pre mapu a misie, aby sa dali zavriet aj v mobilnej verzii, a wrapperova volba pre otvorenie mapy; bez zmeny hernej logiky.
Približne 1 h 50 min · približne 50 USD · kontext 623K.
Final demo One-prompt demo
Gameplay screenshot GTA hry BAYSIDE vygenerovanej modelom Claude Fable 5 2Claude Fable 5 Uzavretý Splnil zadanie Hrateľný Veľa chýb 1 opravný prompt. Generovanie približne 1 h 20 min; takmer 400K kontext. Demo
Gameplay screenshot GTA hry vygenerovanej modelom GPT-6 Astra 3GPT-6 Astra Uzavretý Splnil zadanie čiastočne Hrateľný Veľa chýb 3 prompty na drobné opravy ovládania, najmä chýbajúcu podporu myši. Generovanie 35 min. Demo
Gameplay screenshot GTA hry Neon Bay vygenerovanej modelom Claude Opus 5 4Claude Opus 5 Uzavretý Splnil zadanie čiastočne Hrateľný Veľmi veľa chýb 1 opravný prompt na ovládanie. Mesto je pôsobivo natextúrované, ale budovy sa prekrývajú. Demo
Gameplay screenshot GTA hry Palm City vygenerovanej modelom GLM 5.3 Flash 5GLM 5.3 Flash Otvorené váhy; run zo stealth preview 320B ≈196,6 GB Splnil zadanie čiastočne Hrateľný Veľa vážnych chýb Vyžadoval 2 opravné prompty na ovládanie. Generovanie približne 1 h 4 min; spojenie niekoľkokrát vypadlo. Demo
Gameplay screenshot GTA hry vygenerovanej modelom Kimi K3 6Kimi K3 Otvorené váhy 2,8T 1,56 TB ≈147,9 GB / 100K Splnil zadanie čiastočne Hrateľný Veľmi veľa kritických chýb 1 opravný prompt na ovládanie. Generovanie približne 4 h; cena 89 USD. Demo
Náhľad GTA hry Neon Palms vygenerovanej modelom GPT-5.6 Sol 7GPT-5.6 Sol Uzavretý Splnil zadanie čiastočne Hrateľný Veľmi veľa chýb Vyžadoval 2 opravné prompty na ovládanie. Demo
Gameplay screenshot GTA hry vygenerovanej modelom GPT-5.5 8GPT-5.5 Uzavretý Splnil zadanie čiastočne Hrateľný Veľmi veľa chýb - Demo
Gameplay screenshot GTA hry vygenerovanej modelom Gemini 3.8 Flash 9Gemini 3.8 Flash Uzavretý Splnil zadanie čiastočne Hrateľný Veľa chýb 2 opravné prompty na ovládanie. Generovanie približne 13 min; cena 1,79 USD. Demo
Gameplay screenshot GTA hry vygenerovanej modelom Qwen 3.8 27B 10Qwen 3.8 27B Otvorené váhy 27B 19 GB ≈6,71 GB / 100K Splnil zadanie čiastočne Hrateľný Veľmi veľa vážnych chýb 6 opravných promptov na spawn a kameru, autá, mosty, nastupovanie, chase kameru, útok myšou a debounce klávesu E. Prvá generácia trvala 3 h 52 min. Demo
Gameplay screenshot GTA hry vygenerovanej modelom DeepSeek V4 Flash 0731 DS4 Q2 11DeepSeek V4 Flash 0731 DS4 Q2 Otvorené váhy, Q2 284B 164,6 GB ≈1,22 GB / 100K Splnil zadanie čiastočne Hrateľný Veľmi veľa chýb Vyžadoval veľa opravných promptov na ovládanie, najmä na správne priradenie klávesov A a D. Demo
Gameplay screenshot GTA hry vygenerovanej modelom Gemini 3.5 Flash 12Gemini 3.5 Flash Uzavretý Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb - Demo
Gameplay screenshot GTA hry vygenerovanej modelom GLM 5.2 13GLM 5.2 Otvorené váhy (OpenRouter) 744B 464,8 GB ≈9,52 GB / 100K Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb - Demo
Gameplay screenshot GTA hry vygenerovanej modelom Qwen 3.6 27B ThinkingCap 14Qwen 3.6 27B ThinkingCap Otvorené váhy 27B 16,8 GB ≈6,71 GB / 100K Zadanie nesplnil Nefungoval Obsahuje fatálne chyby Žiaden viditeľný svet.
Generovanie približne 1 h 17 min.
Demo

**Podľa dostupnosti: počet parametrov, veľkosť Q4 váh pri 0K a cache/stav pri 100K. Váhy sú konkrétny Q4 checkpoint alebo označený odhad Q4_K_M; 100K platí pre jednu sekvenciu v zdokumentovanom runtime. Kvantizácia váh nemení cache, pokiaľ runtime zachová rovnaký cache layout a dátové typy. Pri hybridných modeloch sa môže iný runtime výrazne líšiť. Neoveriteľné údaje sa nezobrazujú a samotná pomlčka znamená, že nie je známy žiadny údaj. Bez runtime bufferov, vision častí a offloadu; nejde o univerzálne minimum RAM/VRAM.

Na mobile alebo tablete tlačidlo Demo otvorí website-owned wrapper s dotykovým ovládaním. Pôvodný benchmark kód ostáva nezmenený.

Stiahnuť výsledky benchmarku ako JSON

Zdroje a údaje behov

dátumy, prompt, typ behu, checkpointy, revízie a pamäťové údaje

Uvádzame iba zdokumentované údaje. Dátum, verzia promptu a typ behu sú pri výsledku zobrazené len vtedy, keď boli zaznamenané; historické medzery neodhadujeme. Veľkosť Q4 váh nie je celková potreba RAM; cache alebo stav pri 100K je samostatný údaj pre jednu sekvenciu a uvedený runtime.

Claude Fable 5.1
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
GPT-6 Astra
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
GLM 5.3 Flash
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
Checkpoint alebo revízia
zai-org/GLM-5.3-Flash@690b705278a3a58e538fcb37c2ca8b5f9511213c
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 320B parametrov pri 4,8944 bitu na parameter.
Kimi K3
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
Checkpoint alebo revízia
moonshotai/Kimi-K3@9f62e4e9fffbd0a83ddd60e1c209d828994b3569
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho MXFP4 artefaktu (moonshotai/Kimi-K3). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, ref.).
Gemini 3.8 Flash
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
Qwen 3.8 27B
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
Checkpoint alebo revízia
Qwen/Qwen3.8-27B@1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ggml-org/Qwen3.8-27B-GGUF). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).
DeepSeek V4 Flash 0731 DS4 Q2
Vytvorené
Testované
Prompt
gta-original-en
Typ behu
viac promptov
Checkpoint alebo revízia
deepseek-ai/DeepSeek-V4-Flash-0731@7872f01b1d1fe23eabc4c98b48bffcef5a386062
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho DS4 Q4 GGUF (Q4_K routed experts) artefaktu (antirez/deepseek-v4-gguf/DeepSeek-V4-Flash-Q4KExperts-F16HC-F16Compressor-F16Indexer-Q8Attn-Q8Shared-Q8Out-chat-v2-imatrix-0731.gguf). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (DS4 F16/F32 cache/stav, DS4).
GLM 5.2
Checkpoint alebo revízia
zai-org/GLM-5.2@b4734de4facf877f85769a911abafc5283eab3d9
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho NVFP4 artefaktu (nvidia/GLM-5.2-NVFP4). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, vLLM).
Qwen 3.6 27B ThinkingCap
Checkpoint alebo revízia
bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF@0982db1be5e1e6cf7163ba89d7f63a9f18d2f4f0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Metodika

Zadanie použité na porovnanie

Každý run začína rovnakým pôvodným promptom. Následné implementačné prompty môžu iba opravovať chyby a beh, ladiť ovládanie, hrateľnosť, výkon a spoľahlivosť alebo dolaďovať grafiku, animácie a zvuk v rozsahu pôvodného zadania. Nesmú meniť jadro zadania ani pridávať nový hlavný herný systém. Všetky následné zásahy sa zverejnia a run sa označí ako multi-prompt; otázky, obnovenie prerušenej práce a dokumentačné správy sa evidujú oddelene od implementačných promptov.

Prompt použitý na zadanie

Create a 3D open-world action game inspired by classic GTA-style gameplay. The game should have a stylized visual style close to GTA: San Andreas, but with improved graphics, better lighting, more detailed environments, and smoother animations. Do not use copyrighted GTA assets, names, characters, maps, or exact copies; create an original game with a similar open-world crime-action feeling.

The game should use a third-person camera. The player must be able to walk, run, sprint, fight in melee combat, shoot different types of weapons, and interact with vehicles. Weapons should be placed in various harder-to-reach locations across the map, or the player should be able to obtain them from armed gangsters or police officers after defeating them.

The player must be able to enter cars, steal cars, pull drivers out of vehicles, and drive around the city. The city should be inspired by Miami, with a tropical coastal atmosphere, boats, the sea, canals, bridges, beaches, hotels, highways, and dense urban districts.

The map should be fairly large and should not be a simple square grid. The road layout should include streets of different shapes, curves, alleys, intersections, multi-level intersections, bridges, tunnels, and a highway network with exits leading into city streets. The city should contain different districts with different architecture, atmosphere, culture, population density, and types of people, similar to real American cities.

Include districts such as:

* a Chinatown-style district,
* a Hispanic district,
* a district with a larger African-American community,
* a wealthy residential district,
* a downtown district with high-rise buildings,
* office districts with business buildings,
* coastal hotel areas with balconies, pools, bars, tourists, and people relaxing,
* dangerous gang-controlled districts,
* and one district occupied by homeless people living in tents.

The beach areas should be full of life. There should be people swimming, sunbathing, playing beach volleyball, walking, talking, skating, rollerblading, cycling, and relaxing near the sea. Streets in different districts should have different population densities, and pedestrians should visually and behaviorally match the district they are in.

Some dangerous districts should be controlled by gangs. Gangs should be visually recognizable by their clothing, colors, behavior, and preferred weapons. Gang members should patrol their areas, react aggressively to threats, and sometimes attack the player if provoked.

Create a custom map-generation format and tool for building the city. Think of it like a simplified SimCity-style internal format that describes roads, buildings, parks, parking lots, beaches, canals, bridges, highways, districts, spawn zones, and other city components. Use this format to generate repeated but varied patterns of buildings, roads, parks, parking lots, sidewalks, props, and environmental details. The city should feel handcrafted but should be generated from reusable rules and templates.

On the edge of the city, include an airport where planes can land and take off. The airport should have runways, hangars, parked vehicles, security areas, and moving aircraft.

The city should include civilians, gang members, police officers, police cars, police motorcycles, and two police helicopters. Police officers should appear as pedestrians, motorcycle officers, and drivers of police vehicles. The police should only start chasing the player when they witness the player committing a crime, such as shooting in the street, attacking civilians, stealing cars, or causing serious destruction. Police should not be everywhere; they should be distributed naturally so that the player is not immediately chased after the first small incident unless police are nearby and actually notice it.

Civilians should have different personalities and reactions. Most people should panic and run away when the player starts shooting, attacks someone, or tries to steal a car. Some drivers should panic and quickly drive away if the player tries to steal their vehicle but is too slow. A smaller number of civilians should be brave or aggressive and may fight back if the player attacks them, damages their car, or tries to steal their vehicle. However, if the player starts shooting, even these braver civilians should try to escape.

In dangerous districts, include dealers offering strange substances that can temporarily cause altered visual effects, distorted controls, hallucination-like effects, or other weird states for the player. These districts may also include prostitutes, addicts, and other street characters to make the atmosphere feel darker and more dangerous. Also include bars where the player can get drunk and where regular customers hang out, talk, argue, or react to the player.

The game should include classic GTA-style missions, but they should not feel repetitive. Each mission should be slightly different. Add around 20–30 missions in total. Mission types can include:

* delivering cargo from point A to point B,
* assassinating a gang leader,
* stealing a car full of money,
* winning illegal street races,
* escaping police during a race,
* finding and eliminating a rat cooperating with the police,
* protecting a character,
* attacking a gang hideout,
* stealing weapons,
* escaping by boat through canals,
* chasing a target through traffic,
* and other open-world crime-action mission types.

The game should include a mission system with objectives, markers, failure conditions, success conditions, rewards, and mission progression. Missions should use different vehicles, locations, enemies, and situations so that they do not feel copied from each other.

Add sounds for everything important:

* car engines,
* horns,
* brakes,
* crashes,
* tires,
* boats,
* helicopters,
* airplanes,
* footsteps,
* punches,
* gunfire,
* explosions,
* people talking,
* frightened civilians screaming,
* angry civilians shouting,
* police sirens,
* gang threats,
* bar ambience,
* beach ambience,
* city traffic,
* ocean waves,
* and general city noise.

Because this is a large and demanding task, plan it carefully before implementation. First create a dedicated TODO.md file. In TODO.md, break the whole project into clear milestones and smaller tasks. Then complete the work step by step, following the TODO.md file point by point. Keep updating TODO.md as tasks are completed. Do not skip details. Build the game gradually, starting with the core playable systems, then the city, traffic, pedestrians, police, gangs, missions, sound, UI, and final polish.

FAQ

Časté otázky o GTA benchmarku

Čo testuje GTA benchmark?

Testuje, ako AI modely zvládnu vytvoriť hrateľné 3D open-world mesto s dopravou, chodcami, políciou, misiami a zvukom.

Dajú sa výsledky zahrať?

Áno. Hrateľné výstupy majú pri svojom výsledku odkaz na demo.

Sú povolené následné prompty?

Áno, ale iba na opravy a ladenie v rozsahu pôvodného zadania. Každý zásah je zdokumentovaný a beh je označený ako multi-prompt.

Ako vzniká poradie?

Poradie je praktické a subjektívne; zohľadňuje funkčnosť, hrateľnosť, zábavnosť, rozsah, prepracovanosť a chyby konkrétneho výstupu.

Ktorý výsledok je momentálne prvý?

Prvé miesto patrí rozsiahlej open-world hre od Claude Fable 5.1.