Benchmark LLM-iek

BAA benchmark: rovnaký prompt, tridsať modelov.

BAA porovnáva tridsať výstupov modelov z rovnakého zadania: krátku 3D arkádovú hru o zaháňaní oviec.

Výsledkov
30
Hrateľných alebo čiastočne
11
Dostupných dem
29
Metóda
Rovnaký prompt

Kompletné poradie

Výsledky a hrateľné demá

Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.

Filtrovanie
Hrateľnosť
Typ
Parametre
Poradie benchmarku Subjektívne poradie podľa praktického výsledku v tomto benchmarku
Náhľad Model Typ Parametre / pamäť** Výsledok Chyby Poznámka Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Fable 5 1Claude Fable 5 Uzavretý - Splnil zadanie Plne hrateľný Minimum, pár drobných chýb Reasoning effort 4/6, nie maximum.
Drobná oprava viewportu na Macoch.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi K3 2Kimi K3 Otvorené váhy 2.8T 1.54 TB - 4.90 TB Splnil zadanie Plne hrateľný Minimum, drobné chyby Cena generovania 7,31 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 5 3Claude Opus 5 Uzavretý - Splnil zadanie Plne hrateľný Bez zistených chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT 5.6 Sol 4GPT 5.6 Sol Uzavretý - Splnil zadanie Hrateľný Málo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 4.8 5Claude Opus 4.8 Uzavretý - Splnil zadanie Hrateľný Málo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Grok 4.5 6Grok 4.5 Uzavretý - Splnil zadanie Hrateľný Bez zjavnej vážnej chyby - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.5 Flash 7Gemini 3.5 Flash Uzavretý - Splnil zadanie Hrateľný Málo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B ThinkingCap 8Qwen 3.6 27B ThinkingCap Otvorené váhy, GGUF 27B 18 GB - 50 GB Splnil zadanie Hrateľný Bez vážnych chýb ThinkingCap úprava od Bottlecapu. Generovanie trvalo 17 minút; bez opravného promptu. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.6 Flash 9Gemini 3.6 Flash Uzavretý - Splnil zadanie Hrateľný Bez vážnych chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 397B A17B 10Qwen 3.5 397B A17B Otvorené váhy 397B (17B aktívnych) 224 GB - 400 GB Splnil zadanie čiastočne Hrateľný s výhradami Veľa vážnych chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M2.7 11MiniMax M2.7 Otvorené váhy - Splnil zadanie čiastočne Hrateľný s výhradami Veľa vážnych chýb Postavy sa takmer vôbec nehýbu. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT 5.5 12GPT 5.5 Uzavretý - Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M3 13MiniMax M3 Otvorené váhy 428B (23B aktívnych) 240 GB - 480 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Sonnet 4.6 14Claude Sonnet 4.6 Uzavretý - Splnil zadanie čiastočne Nehrateľný Niekoľko chýb Generovanie trvalo mimoriadne dlho, vyše hodiny. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.2 15GLM 5.2 Otvorené váhy (OpenRouter) 744B (40B aktívnych) 416 GB - 816 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Flash 16DeepSeek V4 Flash Otvorené váhy (OpenRouter) 284B (13B aktívnych) 160 GB - 304 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.7 Max 17Qwen 3.7 Max Uzavretý - Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Pro 18DeepSeek V4 Pro Otvorené váhy (OpenRouter) 1.6T (49B aktívnych) 896 GB - 1.37 TB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Big Pickle 19Big Pickle Neznáme - Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi 2.7 Code 20Kimi 2.7 Code Otvorené váhy (OpenRouter) 1T (32B aktívnych) 560 GB - 880 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 3 opravné prompty. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B 21Qwen 3.6 27B Otvorené váhy 27B 18 GB - 50 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 122B A10B 22Qwen 3.5 122B A10B Otvorené váhy 122B (10B aktívnych) 72 GB - 176 GB Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb Ovce aj pes lietajú. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 4.7 Flash 23GLM 4.7 Flash Otvorené váhy (OpenRouter) 31B (3B aktívnych) 20 GB - 50 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 35B A3B 24Qwen 3.6 35B A3B Otvorené váhy 35B (3B aktívnych) 22 GB - 52 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval ešte 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiMo v5 25MiMo v5 Otvorené váhy 310B (15B aktívnych) 176 GB - 336 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemma 4 31B 26Gemma 4 31B Otvorené váhy 31B 20 GB - 58 GB Zadanie splnil len veľmi čiastočne Nehrateľný Množstvo chýb Vyžadoval ešte 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Mistral Small 4 27Mistral Small 4 Neznáme - Nesplnil zadanie Absolútne nehrateľný Veľmi veľa vážnych chýb Vyžadoval 3 opravné prompty. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Ornith 1.0 35B 28Ornith 1.0 35B Otvorené váhy 35B 22 GB - 64 GB Nesplnil zadanie Absolútne nehrateľný Množstvo chýb Vyžadoval 2 opravné prompty. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 A3B 29Qwen 3.5 A3B Otvorené váhy 30B (3B aktívnych) 20 GB - 50 GB Nesplnil zadanie Absolútne nehrateľný Množstvo chýb - Demo
30Nemotron 3 Ultra Otvorené váhy 550B (55B aktívnych) 320 GB - 864 GB Nesplnil zadanie Nič nevygeneroval -

**Pamäť je iba orientačný odhad pre Q4 váhy: prvá hodnota je odhad pri 0K kontexte, druhá pri 100K kontexte. Nie je to meranie ani presný výpočet konkrétnej architektúry.

Poznámky sa týkajú opravných promptov potrebných na spustenie hry (napríklad JavaScript chyba) a prípadných nastavení behu, ako je reasoning effort. Žiadny opravný prompt sa netýkal ladenia samotnej hry.

Na mobile alebo tablete tlačidlo Demo otvorí verziu s dodatočne pridaným ovládacím panelom so šípkami a A/B. Pôvodný benchmark kód ostáva nezmenený.

Gameplay screenshot hry BAA vygenerovanej modelom Claude Fable 5

1Claude Fable 5

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Plne hrateľný
Chyby
Minimum, pár drobných chýb
Poznámka
Reasoning effort 4/6, nie maximum.
Drobná oprava viewportu na Macoch.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi K3

2Kimi K3

Otvorené váhy
Parametre / pamäť**
2.8T 1.54 TB - 4.90 TB
Výsledok
Splnil zadanie Plne hrateľný
Chyby
Minimum, drobné chyby
Poznámka
Cena generovania 7,31 USD.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 5

3Claude Opus 5

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Plne hrateľný
Chyby
Bez zistených chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT 5.6 Sol

4GPT 5.6 Sol

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Hrateľný
Chyby
Málo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 4.8

5Claude Opus 4.8

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Hrateľný
Chyby
Málo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Grok 4.5

6Grok 4.5

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Hrateľný
Chyby
Bez zjavnej vážnej chyby
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.5 Flash

7Gemini 3.5 Flash

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Hrateľný
Chyby
Málo chýb
Poznámka
Vyžadoval 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B ThinkingCap

8Qwen 3.6 27B ThinkingCap

Otvorené váhy, GGUF
Parametre / pamäť**
27B 18 GB - 50 GB
Výsledok
Splnil zadanie Hrateľný
Chyby
Bez vážnych chýb
Poznámka
ThinkingCap úprava od Bottlecapu. Generovanie trvalo 17 minút; bez opravného promptu.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.6 Flash

9Gemini 3.6 Flash

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie Hrateľný
Chyby
Bez vážnych chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 397B A17B

10Qwen 3.5 397B A17B

Otvorené váhy
Parametre / pamäť**
397B (17B aktívnych) 224 GB - 400 GB
Výsledok
Splnil zadanie čiastočne Hrateľný s výhradami
Chyby
Veľa vážnych chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M2.7

11MiniMax M2.7

Otvorené váhy
Parametre / pamäť**
-
Výsledok
Splnil zadanie čiastočne Hrateľný s výhradami
Chyby
Veľa vážnych chýb
Poznámka
Postavy sa takmer vôbec nehýbu.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT 5.5

12GPT 5.5

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M3

13MiniMax M3

Otvorené váhy
Parametre / pamäť**
428B (23B aktívnych) 240 GB - 480 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Sonnet 4.6

14Claude Sonnet 4.6

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Niekoľko chýb
Poznámka
Generovanie trvalo mimoriadne dlho, vyše hodiny.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.2

15GLM 5.2

Otvorené váhy (OpenRouter)
Parametre / pamäť**
744B (40B aktívnych) 416 GB - 816 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Flash

16DeepSeek V4 Flash

Otvorené váhy (OpenRouter)
Parametre / pamäť**
284B (13B aktívnych) 160 GB - 304 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.7 Max

17Qwen 3.7 Max

Uzavretý
Parametre / pamäť**
-
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Veľmi veľa chýb
Poznámka
Vyžadoval 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Pro

18DeepSeek V4 Pro

Otvorené váhy (OpenRouter)
Parametre / pamäť**
1.6T (49B aktívnych) 896 GB - 1.37 TB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Big Pickle

19Big Pickle

Neznáme
Parametre / pamäť**
-
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi 2.7 Code

20Kimi 2.7 Code

Otvorené váhy (OpenRouter)
Parametre / pamäť**
1T (32B aktívnych) 560 GB - 880 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval 3 opravné prompty.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B

21Qwen 3.6 27B

Otvorené váhy
Parametre / pamäť**
27B 18 GB - 50 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 122B A10B

22Qwen 3.5 122B A10B

Otvorené váhy
Parametre / pamäť**
122B (10B aktívnych) 72 GB - 176 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Veľmi veľa chýb
Poznámka
Ovce aj pes lietajú.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 4.7 Flash

23GLM 4.7 Flash

Otvorené váhy (OpenRouter)
Parametre / pamäť**
31B (3B aktívnych) 20 GB - 50 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 35B A3B

24Qwen 3.6 35B A3B

Otvorené váhy
Parametre / pamäť**
35B (3B aktívnych) 22 GB - 52 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval ešte 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiMo v5

25MiMo v5

Otvorené váhy
Parametre / pamäť**
310B (15B aktívnych) 176 GB - 336 GB
Výsledok
Splnil zadanie čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemma 4 31B

26Gemma 4 31B

Otvorené váhy
Parametre / pamäť**
31B 20 GB - 58 GB
Výsledok
Zadanie splnil len veľmi čiastočne Nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval ešte 1 opravný prompt.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Mistral Small 4

27Mistral Small 4

Neznáme
Parametre / pamäť**
-
Výsledok
Nesplnil zadanie Absolútne nehrateľný
Chyby
Veľmi veľa vážnych chýb
Poznámka
Vyžadoval 3 opravné prompty.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Ornith 1.0 35B

28Ornith 1.0 35B

Otvorené váhy
Parametre / pamäť**
35B 22 GB - 64 GB
Výsledok
Nesplnil zadanie Absolútne nehrateľný
Chyby
Množstvo chýb
Poznámka
Vyžadoval 2 opravné prompty.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 A3B

29Qwen 3.5 A3B

Otvorené váhy
Parametre / pamäť**
30B (3B aktívnych) 20 GB - 50 GB
Výsledok
Nesplnil zadanie Absolútne nehrateľný
Chyby
Množstvo chýb
Poznámka
-
Demo

30Nemotron 3 Ultra

Otvorené váhy
Parametre / pamäť**
550B (55B aktívnych) 320 GB - 864 GB
Výsledok
Nesplnil zadanie Nič nevygeneroval
Chyby
Poznámka
-

Metodika

Zadanie použité na porovnanie

Prompt je zachovaný v pôvodnom znení. Hodnotenie vychádza z reálneho spustenia, hrateľnosti, chýb a obmedzení konkrétneho výstupu.

Prompt použitý na porovnanie

Chcel by som vytvorit jednoduchu arkadovu hru, trocha akoby to bola nintendo hra ale v 3D s pohladu z tretej osoby ale trocha vzdialena kamera. Hra bude v prostredi luk v horach na kopcovitom vlnenom terene kde sa pasu ovce, Vacsina plochy budu luky, v pozadi hory a lesy a nejake domy. Hrac bude hrat za ovciarskeho alebo ineho psa ktory sa pouziva pri zahanani oviec, nech si vie vybrat z par plemien ktore sa budu lisit niektorymi vlastnostami. Hrac bude mat moznost sa pohybovat sipkami, medzerou alebo nejakym vhodnym key na klavesnici bude moct brechat co bude moct pouzit aj na ovce teda ak to realne pomaha pri zahanani, ale aj na odplasenie inych zvierat, napr. inych psov, vlkov, medveda, ludi okrem pastiera ktory sa bude tiez nachadzat na luke. Ovce nech reaguju na psa cize budu sa pohybovat v stade ale budu sa pohybovat tak ako ich pes zazenie, nech beekaju (baa), ale nech to je arkadove. Podstata hry ma byt zaviest ovce do kosiara cize, z bodu A do bodu B a celit nastraham ako su obcasne vypady inych psov, vynimocne vlkov, alebo medveda. Vlci a medved nech su nieco ako bosovia alebo proste vacsie prekazky v dalsich levelov. Vymysli si mensie lahsie prekazky v prvych leveloch. Levelov nech je nejaky rozumny pocet, mysli na to ze toto ma byt kratka hra na pobavenie na par minut max par desiatok minut mozno 1 hodina ak by sa to hralo do konca do posledneho levela. Na mape by sa mohli objavovat aj ine zvierata, navhrni napr. kravy, lisky obcas niekde nejake vtaky atd. proste priroda. Nech su okrem luk aj nejaka ta polna cesta, obcas nejake prekazdky ci uz v podobe ohrad, utesov, krikov cez ktore ovce neprejdu. Grafika nech je pekna, farebna, arkadova, trocha nech pripomina akoby to bolo nintendo hra ale nekopiruj ziadnu konkretnu hru respektive jej dizajn. Hru napis v html/javascript/

Samostatné demo

Finálna BAA hra

Ručne dokončená hrateľná verzia je oddelená od poradia modelov a slúži ako samostatné demo pôvodného nápadu.

Gameplay screenshot finálnej hry BAA
  • Hrateľné

BAA - finálna hra

Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.