- Hrateľné
BAA - finálna hra
Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.
Benchmark LLM-iek
BEE-nchmark: rovnaký prompt, rozdielne hry.
BEE-nchmark porovnáva, ako rôzne modely zvládli zadanie vytvoriť krátku 3D arkádovú hru o zaháňaní oviec.
- Výsledkov
- 45
- Hrateľné výsledky
- 24
- Demá na vyskúšanie
- 44
- Metóda
- Rovnaký prompt
V skratke
- Každý model dostal rovnaké zadanie vytvoriť krátku 3D hru o zaháňaní oviec.
- Porovnávam screenshoty, hrateľnosť, chyby aj demá, ktoré sa dajú priamo spustiť.
- Na prvom mieste je momentálne Claude Opus 5.
- Pôvodné modelové výstupy zostávajú zachované; ručne dokončená hra je vedená samostatne.
Kompletné poradie
Výsledky a hrateľné demá
Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.
Filtrovanie
Typ
Parametre
Autori
Žiadny model nezodpovedá zvoleným filtrom.
| Náhľad | Model | Typ | Počet parametrov / požiadavky** | Výsledok | Chyby | Poznámka | Demo |
|---|---|---|---|---|---|---|---|
|
1Claude Opus 5 | Uzavretý | — | Bez zistených chýb | - | Demo | |
|
2Claude Fable 5.1 | Uzavretý | — | Minimum drobných chýb | Generovanie približne 45 min; cena 12,56 USD; kontext 200K. | Demo | |
|
3Claude Fable 5 | Uzavretý | — | Minimum, pár drobných chýb | Reasoning effort 4/6, nie maximum. Drobná oprava viewportu na Macoch. |
Demo | |
|
4Kimi K3 | Otvorené váhy | 2,8T 1,56 TB ≈147,9 GB / 100K | Minimum, drobné chyby | Cena generovania 7,31 USD. | Demo | |
|
5GLM 5.3 Flash | Otvorené váhy; run zo stealth preview | 320B ≈196,6 GB | Málo drobných chýb | Generovanie sa dvakrát zastavilo a vyžadovalo krátke prompty na pokračovanie. Trvalo približne 75 min. | Demo | |
|
6GPT-6 Astra | Uzavretý | — | Drobné chyby | Generovanie 23 min. | Demo | |
|
7GPT-5.6 Sol | Uzavretý | — | Málo chýb | - | Demo | |
|
8Claude Opus 4.8 | Uzavretý | — | Málo chýb | - | Demo | |
|
9Grok 4.5 | Uzavretý | — | Bez zjavnej vážnej chyby | - | Demo | |
|
10Gemini 3.8 Flash | Uzavretý | — | Veľa drobných chýb | Generovanie približne 7,5 min; cena 0,58 USD. | Demo | |
|
11Gemini 3.5 Flash | Uzavretý | — | Málo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
12Qwen 3.8 27B | Otvorené váhy | 27B 19 GB ≈6,71 GB / 100K | Málo drobných chýb | Generovanie trvalo 4 h a zastavilo sa pri 187K tokenoch kontextu. Na začiatku potrebovalo dva krátke prompty na pokračovanie. | Demo | |
|
13Gemini 3.6 Flash | Uzavretý | — | Bez vážnych chýb | - | Demo | |
|
14Qwen 3.6 27B ThinkingCap | Otvorené váhy, GGUF | 27B 16,8 GB ≈6,71 GB / 100K | Bez vážnych chýb | ThinkingCap úprava od Bottlecapu. Generovanie trvalo 17 minút; bez opravného promptu. | Demo | |
|
15Muse Spark 1.2 | Uzavretý | — | Veľa chýb, po čase zamŕza | Zaznamenaný čas: 4 min 19 s. | Demo | |
|
16GPT-5.6 Terra | Uzavretý | — | Veľa chýb | Zaznamenaný čas: 20 min. | Demo | |
|
17Qwen 3.5 397B A17B | Otvorené váhy | 397B 235,7 GB ≈3,27 GB / 100K | Veľa vážnych chýb | - | Demo | |
|
18MiniMax M2.7 | Otvorené váhy | 229,9B ≈139,9 GB ≈25,4 GB / 100K | Veľa vážnych chýb | Postavy sa takmer vôbec nehýbu. | Demo | |
|
19Qwen 3.8 Max Preview | Uzavretý | 2,4T | Zvláštne ovládanie, málo ďalších chýb | Generovanie sa z neznámeho dôvodu zastavilo pred dokončením. | Demo | |
|
20DeepSeek V4 Pro 0831 | Otvorené váhy | 1,6T 864,7 GB ≈1,01 GB / 100K | Veľa chýb, zvláštne ovládanie | Generovanie trvalo vyše 2 h a stálo 6,11 USD. Po jednom zastavení potrebovalo krátky prompt na pokračovanie. | Demo | |
|
21DeepSeek V4 Flash 0731 DS4 | Otvorené váhy | 284B 164,6 GB ≈1,22 GB / 100K | Zvláštna kamera a množstvo chýb | Použitá úspornejšia Q2 kvantizácia, ktorá sa zmestila do 96 GB RAM. Čas: 1 h 49 min. | Demo | |
|
22GLM 5.3 Flash + Claude Code | Otvorené váhy cez Claude Code | 320B ≈196,6 GB | Veľa chýb; obrátené ovládanie | GLM 5.3 Flash cez Claude Code, effort max. Generovanie 2 h 49 min; spustenie sa podarilo až po viacerých pokusoch. | Demo | |
|
23Gemini 3.7 Flash | Uzavretý | — | Množstvo chýb vrátane obráteného pohybu dopredu a dozadu | Vyžadoval 1 krátky prompt na pokračovanie generovania druhého levelu. Generovanie trvalo približne 7 min. | Demo | |
|
24GPT-5.5 | Uzavretý | — | Množstvo chýb | - | Demo | |
|
25MiniMax M3 | Otvorené váhy | 428B ≈261,3 GB | Množstvo chýb | - | Demo | |
|
26Claude Sonnet 4.6 | Uzavretý | — | Niekoľko chýb | Generovanie trvalo mimoriadne dlho, vyše hodiny. | Demo | |
|
27GLM 5.2 | Otvorené váhy (OpenRouter) | 744B 464,8 GB ≈9,52 GB / 100K | Množstvo chýb | - | Demo | |
|
28DeepSeek V4 Flash | Otvorené váhy (OpenRouter) | 284B 159,6 GB ≈0,71 GB / 100K | Množstvo chýb | - | Demo | |
|
29Qwen 3.7 Max | Uzavretý | — | Veľmi veľa chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
30DeepSeek V4 Pro | Otvorené váhy (OpenRouter) | 1,6T 864,7 GB ≈1,01 GB / 100K | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
31Big Pickle | Neznáme | — | Množstvo chýb | - | Demo | |
|
32Kimi 2.7 Code | Otvorené váhy (OpenRouter) | 1T 595,2 GB | Množstvo chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
33Qwen 3.6 27B | Otvorené váhy | 27B 19,1 GB ≈6,71 GB / 100K | Množstvo chýb | - | Demo | |
|
34Qwen 3.5 122B A10B | Otvorené váhy | 122B 78,9 GB ≈2,61 GB / 100K | Veľmi veľa chýb | Ovce aj pes lietajú. | Demo | |
|
35GLM 4.7 Flash | Otvorené váhy (OpenRouter) | 30B ≈19,1 GB ≈5,41 GB / 100K | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
36Qwen 3.6 35B A3B | Otvorené váhy | 35B ≈21,4 GB ≈2,11 GB / 100K | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
37Muse Glimmer 30B | Otvorené váhy | 29,6B 16,8 GB ≈1,41 GB / 100K | Veľmi veľa vážnych chýb, statická kamera | Generovanie trvalo 6 minút. | Demo | |
|
38Gemma 4 31B | Otvorené váhy | 30,7B 17,7 GB ≈9,03 GB / 100K | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
39Laguna S 2.1 | Otvorené váhy | 118B 71,9 GB ≈4,99 GB / 100K | Veľmi veľa vážnych chýb; padá | Vyžadoval 5 opravných promptov; prvé generovanie trvalo 1 h 31 min. | Demo | |
|
40GPT-5.6 Luna | Uzavretý | — | Pár chýb | Zaznamenaný čas: 13 min 26 s. | Demo | |
|
41MiMo v5 | Otvorené váhy | — | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
42Mistral Small 4 | Otvorené váhy | 119B 70,8 GB ≈2,3 GB / 100K | Veľmi veľa vážnych chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
43Ornith 1.0 35B | Otvorené váhy | 35B 21,2 GB ≈2,11 GB / 100K | Množstvo chýb | Vyžadoval 2 opravné prompty. | Demo | |
|
44Qwen 3.5 A3B | Otvorené váhy | — | Množstvo chýb | - | Demo | |
| 45Nemotron 3 Ultra | Otvorené váhy | 550B 352,3 GB | — | - | — |
**Podľa dostupnosti: počet parametrov, veľkosť Q4 váh pri 0K a cache/stav pri 100K. Váhy sú konkrétny Q4 checkpoint alebo označený odhad Q4_K_M; 100K platí pre jednu sekvenciu v zdokumentovanom runtime. Kvantizácia váh nemení cache, pokiaľ runtime zachová rovnaký cache layout a dátové typy. Pri hybridných modeloch sa môže iný runtime výrazne líšiť. Neoveriteľné údaje sa nezobrazujú a samotná pomlčka znamená, že nie je známy žiadny údaj. Bez runtime bufferov, vision častí a offloadu; nejde o univerzálne minimum RAM/VRAM.
Poznámky sa týkajú opravných promptov potrebných na spustenie hry (napríklad JavaScript chyba) a prípadných nastavení behu, ako je reasoning effort. Žiadny opravný prompt sa netýkal ladenia samotnej hry.
Na mobile alebo tablete tlačidlo Demo otvorí ovládací panel so šípkami a A/B; pri hre s vlastným dotykovým ovládaním otvorí originál. Pôvodný benchmark kód ostáva nezmenený.
Metodika
Zadanie použité na porovnanie
Prompt je zachovaný v pôvodnom znení. Hodnotenie vychádza z reálneho spustenia, hrateľnosti, chýb a obmedzení konkrétneho výstupu.
Prompt použitý na porovnanie
Chcel by som vytvorit jednoduchu arkadovu hru, trocha akoby to bola nintendo hra ale v 3D s pohladu z tretej osoby ale trocha vzdialena kamera. Hra bude v prostredi luk v horach na kopcovitom vlnenom terene kde sa pasu ovce, Vacsina plochy budu luky, v pozadi hory a lesy a nejake domy. Hrac bude hrat za ovciarskeho alebo ineho psa ktory sa pouziva pri zahanani oviec, nech si vie vybrat z par plemien ktore sa budu lisit niektorymi vlastnostami. Hrac bude mat moznost sa pohybovat sipkami, medzerou alebo nejakym vhodnym key na klavesnici bude moct brechat co bude moct pouzit aj na ovce teda ak to realne pomaha pri zahanani, ale aj na odplasenie inych zvierat, napr. inych psov, vlkov, medveda, ludi okrem pastiera ktory sa bude tiez nachadzat na luke. Ovce nech reaguju na psa cize budu sa pohybovat v stade ale budu sa pohybovat tak ako ich pes zazenie, nech beekaju (baa), ale nech to je arkadove. Podstata hry ma byt zaviest ovce do kosiara cize, z bodu A do bodu B a celit nastraham ako su obcasne vypady inych psov, vynimocne vlkov, alebo medveda. Vlci a medved nech su nieco ako bosovia alebo proste vacsie prekazky v dalsich levelov. Vymysli si mensie lahsie prekazky v prvych leveloch. Levelov nech je nejaky rozumny pocet, mysli na to ze toto ma byt kratka hra na pobavenie na par minut max par desiatok minut mozno 1 hodina ak by sa to hralo do konca do posledneho levela. Na mape by sa mohli objavovat aj ine zvierata, navhrni napr. kravy, lisky obcas niekde nejake vtaky atd. proste priroda. Nech su okrem luk aj nejaka ta polna cesta, obcas nejake prekazdky ci uz v podobe ohrad, utesov, krikov cez ktore ovce neprejdu. Grafika nech je pekna, farebna, arkadova, trocha nech pripomina akoby to bolo nintendo hra ale nekopiruj ziadnu konkretnu hru respektive jej dizajn. Hru napis v html/javascript/
Samostatné demo
Finálna BAA hra
Ručne dokončená hrateľná verzia je oddelená od poradia modelov a slúži ako samostatné demo pôvodného nápadu.
FAQ
Časté otázky o BEE-nchmarku
Čo je BEE-nchmark?
Porovnanie AI modelov na rovnakom zadaní: vytvoriť krátku 3D arkádovú hru o ovčiarskom psovi a zaháňaní oviec.
Dajú sa hry zahrať?
Áno. Pri výsledkoch, ktoré sa dajú spustiť, je priamo dostupné hrateľné demo.
Ako vzniká poradie?
Poradie vychádza z praktického hodnotenia splnenia zadania, hrateľnosti, ovládania, vizuálnej kvality a chýb.
Sú pôvodné výstupy modelov upravené?
Pôvodné benchmarkové projekty zostávajú zachované. Web môže použiť samostatný obal pre mobilné ovládanie, ktorý nemení pravidlá ani logiku hry.
Počíta sa finálna BAA hra do poradia?
Nie. Ručne dokončená verzia je samostatné demo pôvodného nápadu a do poradia modelov nevstupuje.