Čo testuje GTA benchmark?
Testuje, ako AI modely zvládnu vytvoriť hrateľné 3D open-world mesto s dopravou, chodcami, políciou, misiami a zvukom.
Benchmark LLM-iek
Modely začínajú rovnakým náročným zadaním: vytvoriť v prehliadači 3D open-world mesto inšpirované Miami s autami, chodcami, políciou, misiami a syntetizovaným zvukom. Najsilnejšie výsledky sú hrateľné, ale aj tie majú chyby; nižšie umiestnené výstupy sú neúplné alebo nehrateľné.
Kompletné poradie
Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.
Žiadny model nezodpovedá zvoleným filtrom.
| Náhľad | Model | Typ | Počet parametrov / požiadavky** | Výsledok | Chyby | Poznámka | Demo |
|---|---|---|---|---|---|---|---|
|
1Claude Opus 5.5 | Uzavretý | — | Veľa chýb | Bez opravných implementačných promptov; iba usmernenie k počtu súbežných agentov. Celkový beh od prvého promptu trval 35 h 49 min; využil 130 % limitu 100 USD predplatného vrátane jedného resetu, viackrát narazil na 5 h limit a kontext hlavného agenta dosiahol 693,9K.Zobraziť viacZobraziť menejBez opravných implementačných promptov; iba usmernenie k počtu súbežných agentov. Celkový beh od prvého promptu trval 35 h 49 min; využil 130 % limitu 100 USD predplatného vrátane jedného resetu, viackrát narazil na 5 h limit a kontext hlavného agenta dosiahol 693,9K. |
Demo | |
|
2Claude Fable 5.1 | Uzavretý | — | Veľa chýb | Po prvom prompte približne 1 h 50 min · približne 50 USD · kontext 623K. | Final demo One-prompt demo | |
|
3Claude Fable 5 | Uzavretý | — | Veľa chýb | 1 opravný prompt. Generovanie po prvom prompte približne 1 h 20 min; takmer 400K kontext. | Demo | |
|
4GPT-6 Astra | Uzavretý | — | Veľa chýb | 3 prompty na drobné opravy ovládania, najmä chýbajúcu podporu myši. Generovanie po prvom prompte 35 min. | Demo | |
|
5Claude Opus 5 | Uzavretý | — | Veľmi veľa chýb | 1 opravný prompt na ovládanie. Mesto je pôsobivo natextúrované, ale budovy sa prekrývajú. | Demo | |
|
6GLM 5.3 Flash | Otvorené váhy; run zo stealth preview | 320B ≈196,6 GB | Veľa vážnych chýb | Vyžadoval 2 opravné prompty na ovládanie. Generovanie po prvom prompte približne 1 h 4 min; spojenie niekoľkokrát vypadlo.Zobraziť viacZobraziť menejVyžadoval 2 opravné prompty na ovládanie. Generovanie po prvom prompte približne 1 h 4 min; spojenie niekoľkokrát vypadlo. |
Demo | |
|
7Kimi K3 | Otvorené váhy | 2,8T 1,56 TB ≈147,9 GB / 100K | Veľmi veľa kritických chýb | 1 opravný prompt na ovládanie. Generovanie po prvom prompte približne 4 h; cena 89 USD. | Demo | |
|
8GPT-5.6 Sol | Uzavretý | — | Veľmi veľa chýb | Vyžadoval 2 opravné prompty na ovládanie. | Demo | |
|
9GPT-5.5 | Uzavretý | — | Veľmi veľa chýb | - | Demo | |
|
10Qwen 3.8 Flash Q2 | Otvorené váhy | 180B ≈110,1 GB | Veľmi veľa vážnych chýb | Po prvom prompte hra nič nezobrazovala. Jeden opravný prompt sprevádzkoval zobrazenie; ovládanie a rozbité budovy si vyžiadali najmenej 10 ďalších promptov. Celkovo pribudlo 21 opravných promptov. Použitá Q2 kvantizácia; generovanie po prvom prompte trvalo približne 4 h 13 min.Zobraziť viacZobraziť menejPo prvom prompte hra nič nezobrazovala. Jeden opravný prompt sprevádzkoval zobrazenie; ovládanie a rozbité budovy si vyžiadali najmenej 10 ďalších promptov. Celkovo pribudlo 21 opravných promptov. Použitá Q2 kvantizácia; generovanie po prvom prompte trvalo približne 4 h 13 min. |
Demo Two-prompt demo | |
|
11Gemini 3.8 Flash | Uzavretý | — | Veľa chýb | 2 opravné prompty na ovládanie. Generovanie po prvom prompte približne 13 min; cena 1,79 USD. | Demo | |
|
12Qwen 3.8 27B | Otvorené váhy | 27B 19 GB ≈6,71 GB / 100K | Veľmi veľa vážnych chýb | 6 opravných promptov na spawn a kameru, autá, mosty, nastupovanie, chase kameru, útok myšou a debounce klávesu E. Generovanie po prvom prompte trvalo 3 h 52 min.Zobraziť viacZobraziť menej6 opravných promptov na spawn a kameru, autá, mosty, nastupovanie, chase kameru, útok myšou a debounce klávesu E. Generovanie po prvom prompte trvalo 3 h 52 min. |
Demo | |
|
13DeepSeek V4 Flash 0731 DS4 Q2 | Otvorené váhy, Q2 | 284B 164,6 GB ≈1,22 GB / 100K | Veľmi veľa chýb | Vyžadoval veľa opravných promptov na ovládanie, najmä na správne priradenie klávesov A a D. | Demo | |
|
14Gemini 3.5 Flash | Uzavretý | — | Veľmi veľa chýb | - | Demo | |
|
15GLM 5.2 | Otvorené váhy (OpenRouter) | 744B 464,8 GB ≈9,52 GB / 100K | Veľmi veľa chýb | - | Demo | |
|
16Qwen 3.6 27B ThinkingCap | Otvorené váhy | 27B 16,8 GB ≈6,71 GB / 100K | Obsahuje fatálne chyby | Žiaden viditeľný svet. Generovanie po prvom prompte približne 1 h 17 min. |
Demo |
**Podľa dostupnosti: počet parametrov, veľkosť Q4 váh pri 0K a cache/stav pri 100K. Váhy sú konkrétny Q4 checkpoint alebo označený odhad Q4_K_M; 100K platí pre jednu sekvenciu v zdokumentovanom runtime. Kvantizácia váh nemení cache, pokiaľ runtime zachová rovnaký cache layout a dátové typy. Pri hybridných modeloch sa môže iný runtime výrazne líšiť. Neoveriteľné údaje sa nezobrazujú a samotná pomlčka znamená, že nie je známy žiadny údaj. Bez runtime bufferov, vision častí a offloadu; nejde o univerzálne minimum RAM/VRAM.
Na mobile alebo tablete tlačidlo Demo otvorí website-owned wrapper s dotykovým ovládaním. Pôvodný benchmark kód ostáva nezmenený.
Metodika
Každý run začína rovnakým pôvodným promptom. Následné implementačné prompty môžu iba opravovať chyby a beh, ladiť ovládanie, hrateľnosť, výkon a spoľahlivosť alebo dolaďovať grafiku, animácie a zvuk v rozsahu pôvodného zadania. Nesmú meniť jadro zadania ani pridávať nový hlavný herný systém. Všetky následné zásahy sa zverejnia a run sa označí ako multi-prompt; otázky, obnovenie prerušenej práce a dokumentačné správy sa evidujú oddelene od implementačných promptov.
Create a 3D open-world action game inspired by classic GTA-style gameplay. The game should have a stylized visual style close to GTA: San Andreas, but with improved graphics, better lighting, more detailed environments, and smoother animations. Do not use copyrighted GTA assets, names, characters, maps, or exact copies; create an original game with a similar open-world crime-action feeling.
The game should use a third-person camera. The player must be able to walk, run, sprint, fight in melee combat, shoot different types of weapons, and interact with vehicles. Weapons should be placed in various harder-to-reach locations across the map, or the player should be able to obtain them from armed gangsters or police officers after defeating them.
The player must be able to enter cars, steal cars, pull drivers out of vehicles, and drive around the city. The city should be inspired by Miami, with a tropical coastal atmosphere, boats, the sea, canals, bridges, beaches, hotels, highways, and dense urban districts.
The map should be fairly large and should not be a simple square grid. The road layout should include streets of different shapes, curves, alleys, intersections, multi-level intersections, bridges, tunnels, and a highway network with exits leading into city streets. The city should contain different districts with different architecture, atmosphere, culture, population density, and types of people, similar to real American cities.
Include districts such as:
* a Chinatown-style district,
* a Hispanic district,
* a district with a larger African-American community,
* a wealthy residential district,
* a downtown district with high-rise buildings,
* office districts with business buildings,
* coastal hotel areas with balconies, pools, bars, tourists, and people relaxing,
* dangerous gang-controlled districts,
* and one district occupied by homeless people living in tents.
The beach areas should be full of life. There should be people swimming, sunbathing, playing beach volleyball, walking, talking, skating, rollerblading, cycling, and relaxing near the sea. Streets in different districts should have different population densities, and pedestrians should visually and behaviorally match the district they are in.
Some dangerous districts should be controlled by gangs. Gangs should be visually recognizable by their clothing, colors, behavior, and preferred weapons. Gang members should patrol their areas, react aggressively to threats, and sometimes attack the player if provoked.
Create a custom map-generation format and tool for building the city. Think of it like a simplified SimCity-style internal format that describes roads, buildings, parks, parking lots, beaches, canals, bridges, highways, districts, spawn zones, and other city components. Use this format to generate repeated but varied patterns of buildings, roads, parks, parking lots, sidewalks, props, and environmental details. The city should feel handcrafted but should be generated from reusable rules and templates.
On the edge of the city, include an airport where planes can land and take off. The airport should have runways, hangars, parked vehicles, security areas, and moving aircraft.
The city should include civilians, gang members, police officers, police cars, police motorcycles, and two police helicopters. Police officers should appear as pedestrians, motorcycle officers, and drivers of police vehicles. The police should only start chasing the player when they witness the player committing a crime, such as shooting in the street, attacking civilians, stealing cars, or causing serious destruction. Police should not be everywhere; they should be distributed naturally so that the player is not immediately chased after the first small incident unless police are nearby and actually notice it.
Civilians should have different personalities and reactions. Most people should panic and run away when the player starts shooting, attacks someone, or tries to steal a car. Some drivers should panic and quickly drive away if the player tries to steal their vehicle but is too slow. A smaller number of civilians should be brave or aggressive and may fight back if the player attacks them, damages their car, or tries to steal their vehicle. However, if the player starts shooting, even these braver civilians should try to escape.
In dangerous districts, include dealers offering strange substances that can temporarily cause altered visual effects, distorted controls, hallucination-like effects, or other weird states for the player. These districts may also include prostitutes, addicts, and other street characters to make the atmosphere feel darker and more dangerous. Also include bars where the player can get drunk and where regular customers hang out, talk, argue, or react to the player.
The game should include classic GTA-style missions, but they should not feel repetitive. Each mission should be slightly different. Add around 20–30 missions in total. Mission types can include:
* delivering cargo from point A to point B,
* assassinating a gang leader,
* stealing a car full of money,
* winning illegal street races,
* escaping police during a race,
* finding and eliminating a rat cooperating with the police,
* protecting a character,
* attacking a gang hideout,
* stealing weapons,
* escaping by boat through canals,
* chasing a target through traffic,
* and other open-world crime-action mission types.
The game should include a mission system with objectives, markers, failure conditions, success conditions, rewards, and mission progression. Missions should use different vehicles, locations, enemies, and situations so that they do not feel copied from each other.
Add sounds for everything important:
* car engines,
* horns,
* brakes,
* crashes,
* tires,
* boats,
* helicopters,
* airplanes,
* footsteps,
* punches,
* gunfire,
* explosions,
* people talking,
* frightened civilians screaming,
* angry civilians shouting,
* police sirens,
* gang threats,
* bar ambience,
* beach ambience,
* city traffic,
* ocean waves,
* and general city noise.
Because this is a large and demanding task, plan it carefully before implementation. First create a dedicated TODO.md file. In TODO.md, break the whole project into clear milestones and smaller tasks. Then complete the work step by step, following the TODO.md file point by point. Keep updating TODO.md as tasks are completed. Do not skip details. Build the game gradually, starting with the core playable systems, then the city, traffic, pedestrians, police, gangs, missions, sound, UI, and final polish.
FAQ
Testuje, ako AI modely zvládnu vytvoriť hrateľné 3D open-world mesto s dopravou, chodcami, políciou, misiami a zvukom.
Áno. Hrateľné výstupy majú pri svojom výsledku odkaz na demo.
Áno, ale iba na opravy a ladenie v rozsahu pôvodného zadania. Každý zásah je zdokumentovaný a beh je označený ako multi-prompt.
Poradie je praktické a subjektívne; zohľadňuje funkčnosť, hrateľnosť, zábavnosť, rozsah, prepracovanosť a chyby konkrétneho výstupu.
Prvé miesto patrí rozsiahlej open-world hre od Claude Opus 5.5.