Benchmark LLM-iek
BAA benchmark: rovnaký prompt, tridsať modelov.
BAA porovnáva tridsať výstupov modelov z rovnakého zadania: krátku 3D arkádovú hru o zaháňaní oviec.
- Výsledkov
- 30
- Hrateľných alebo čiastočne
- 11
- Dostupných dem
- 29
- Metóda
- Rovnaký prompt
Kompletné poradie
Výsledky a hrateľné demá
Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.
Žiadny model nezodpovedá zvoleným filtrom.
| Náhľad | Model | Typ | Parametre / pamäť** | Výsledok | Chyby | Poznámka | Demo |
|---|---|---|---|---|---|---|---|
|
1Claude Fable 5 | Uzavretý | - | Minimum, pár drobných chýb | Reasoning effort 4/6, nie maximum. Drobná oprava viewportu na Macoch. |
Demo | |
|
2Kimi K3 | Otvorené váhy | 2.8T 1.54 TB - 4.90 TB | Minimum, drobné chyby | Cena generovania 7,31 USD. | Demo | |
|
3Claude Opus 5 | Uzavretý | - | Bez zistených chýb | - | Demo | |
|
4GPT 5.6 Sol | Uzavretý | - | Málo chýb | - | Demo | |
|
5Claude Opus 4.8 | Uzavretý | - | Málo chýb | - | Demo | |
|
6Grok 4.5 | Uzavretý | - | Bez zjavnej vážnej chyby | - | Demo | |
|
7Gemini 3.5 Flash | Uzavretý | - | Málo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
8Qwen 3.6 27B ThinkingCap | Otvorené váhy, GGUF | 27B 18 GB - 50 GB | Bez vážnych chýb | ThinkingCap úprava od Bottlecapu. Generovanie trvalo 17 minút; bez opravného promptu. | Demo | |
|
9Gemini 3.6 Flash | Uzavretý | - | Bez vážnych chýb | - | Demo | |
|
10Qwen 3.5 397B A17B | Otvorené váhy | 397B (17B aktívnych) 224 GB - 400 GB | Veľa vážnych chýb | - | Demo | |
|
11MiniMax M2.7 | Otvorené váhy | - | Veľa vážnych chýb | Postavy sa takmer vôbec nehýbu. | Demo | |
|
12GPT 5.5 | Uzavretý | - | Množstvo chýb | - | Demo | |
|
13MiniMax M3 | Otvorené váhy | 428B (23B aktívnych) 240 GB - 480 GB | Množstvo chýb | - | Demo | |
|
14Claude Sonnet 4.6 | Uzavretý | - | Niekoľko chýb | Generovanie trvalo mimoriadne dlho, vyše hodiny. | Demo | |
|
15GLM 5.2 | Otvorené váhy (OpenRouter) | 744B (40B aktívnych) 416 GB - 816 GB | Množstvo chýb | - | Demo | |
|
16DeepSeek V4 Flash | Otvorené váhy (OpenRouter) | 284B (13B aktívnych) 160 GB - 304 GB | Množstvo chýb | - | Demo | |
|
17Qwen 3.7 Max | Uzavretý | - | Veľmi veľa chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
18DeepSeek V4 Pro | Otvorené váhy (OpenRouter) | 1.6T (49B aktívnych) 896 GB - 1.37 TB | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
19Big Pickle | Neznáme | - | Množstvo chýb | - | Demo | |
|
20Kimi 2.7 Code | Otvorené váhy (OpenRouter) | 1T (32B aktívnych) 560 GB - 880 GB | Množstvo chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
21Qwen 3.6 27B | Otvorené váhy | 27B 18 GB - 50 GB | Množstvo chýb | - | Demo | |
|
22Qwen 3.5 122B A10B | Otvorené váhy | 122B (10B aktívnych) 72 GB - 176 GB | Veľmi veľa chýb | Ovce aj pes lietajú. | Demo | |
|
23GLM 4.7 Flash | Otvorené váhy (OpenRouter) | 31B (3B aktívnych) 20 GB - 50 GB | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
24Qwen 3.6 35B A3B | Otvorené váhy | 35B (3B aktívnych) 22 GB - 52 GB | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
25MiMo v5 | Otvorené váhy | 310B (15B aktívnych) 176 GB - 336 GB | Množstvo chýb | Vyžadoval 1 opravný prompt. | Demo | |
|
26Gemma 4 31B | Otvorené váhy | 31B 20 GB - 58 GB | Množstvo chýb | Vyžadoval ešte 1 opravný prompt. | Demo | |
|
27Mistral Small 4 | Neznáme | - | Veľmi veľa vážnych chýb | Vyžadoval 3 opravné prompty. | Demo | |
|
28Ornith 1.0 35B | Otvorené váhy | 35B 22 GB - 64 GB | Množstvo chýb | Vyžadoval 2 opravné prompty. | Demo | |
|
29Qwen 3.5 A3B | Otvorené váhy | 30B (3B aktívnych) 20 GB - 50 GB | Množstvo chýb | - | Demo | |
| 30Nemotron 3 Ultra | Otvorené váhy | 550B (55B aktívnych) 320 GB - 864 GB | — | - | — |
**Pamäť je iba orientačný odhad pre Q4 váhy: prvá hodnota je odhad pri 0K kontexte, druhá pri 100K kontexte. Nie je to meranie ani presný výpočet konkrétnej architektúry.
Poznámky sa týkajú opravných promptov potrebných na spustenie hry (napríklad JavaScript chyba) a prípadných nastavení behu, ako je reasoning effort. Žiadny opravný prompt sa netýkal ladenia samotnej hry.
Na mobile alebo tablete tlačidlo Demo otvorí verziu s dodatočne pridaným ovládacím panelom so šípkami a A/B. Pôvodný benchmark kód ostáva nezmenený.
2Kimi K3
Otvorené váhy
3Claude Opus 5
Uzavretý
4GPT 5.6 Sol
Uzavretý
5Claude Opus 4.8
Uzavretý
6Grok 4.5
Uzavretý
7Gemini 3.5 Flash
Uzavretý
8Qwen 3.6 27B ThinkingCap
Otvorené váhy, GGUF
9Gemini 3.6 Flash
Uzavretý
10Qwen 3.5 397B A17B
Otvorené váhy
11MiniMax M2.7
Otvorené váhy
12GPT 5.5
Uzavretý
13MiniMax M3
Otvorené váhy
14Claude Sonnet 4.6
Uzavretý
15GLM 5.2
Otvorené váhy (OpenRouter)
16DeepSeek V4 Flash
Otvorené váhy (OpenRouter)
17Qwen 3.7 Max
Uzavretý
18DeepSeek V4 Pro
Otvorené váhy (OpenRouter)
19Big Pickle
Neznáme
20Kimi 2.7 Code
Otvorené váhy (OpenRouter)
21Qwen 3.6 27B
Otvorené váhy
22Qwen 3.5 122B A10B
Otvorené váhy
23GLM 4.7 Flash
Otvorené váhy (OpenRouter)
24Qwen 3.6 35B A3B
Otvorené váhy
25MiMo v5
Otvorené váhy
26Gemma 4 31B
Otvorené váhy
27Mistral Small 4
Neznáme
28Ornith 1.0 35B
Otvorené váhy
29Qwen 3.5 A3B
Otvorené váhy30Nemotron 3 Ultra
Otvorené váhyMetodika
Zadanie použité na porovnanie
Prompt je zachovaný v pôvodnom znení. Hodnotenie vychádza z reálneho spustenia, hrateľnosti, chýb a obmedzení konkrétneho výstupu.
Prompt použitý na porovnanie
Chcel by som vytvorit jednoduchu arkadovu hru, trocha akoby to bola nintendo hra ale v 3D s pohladu z tretej osoby ale trocha vzdialena kamera. Hra bude v prostredi luk v horach na kopcovitom vlnenom terene kde sa pasu ovce, Vacsina plochy budu luky, v pozadi hory a lesy a nejake domy. Hrac bude hrat za ovciarskeho alebo ineho psa ktory sa pouziva pri zahanani oviec, nech si vie vybrat z par plemien ktore sa budu lisit niektorymi vlastnostami. Hrac bude mat moznost sa pohybovat sipkami, medzerou alebo nejakym vhodnym key na klavesnici bude moct brechat co bude moct pouzit aj na ovce teda ak to realne pomaha pri zahanani, ale aj na odplasenie inych zvierat, napr. inych psov, vlkov, medveda, ludi okrem pastiera ktory sa bude tiez nachadzat na luke. Ovce nech reaguju na psa cize budu sa pohybovat v stade ale budu sa pohybovat tak ako ich pes zazenie, nech beekaju (baa), ale nech to je arkadove. Podstata hry ma byt zaviest ovce do kosiara cize, z bodu A do bodu B a celit nastraham ako su obcasne vypady inych psov, vynimocne vlkov, alebo medveda. Vlci a medved nech su nieco ako bosovia alebo proste vacsie prekazky v dalsich levelov. Vymysli si mensie lahsie prekazky v prvych leveloch. Levelov nech je nejaky rozumny pocet, mysli na to ze toto ma byt kratka hra na pobavenie na par minut max par desiatok minut mozno 1 hodina ak by sa to hralo do konca do posledneho levela. Na mape by sa mohli objavovat aj ine zvierata, navhrni napr. kravy, lisky obcas niekde nejake vtaky atd. proste priroda. Nech su okrem luk aj nejaka ta polna cesta, obcas nejake prekazdky ci uz v podobe ohrad, utesov, krikov cez ktore ovce neprejdu. Grafika nech je pekna, farebna, arkadova, trocha nech pripomina akoby to bolo nintendo hra ale nekopiruj ziadnu konkretnu hru respektive jej dizajn. Hru napis v html/javascript/
Samostatné demo
Finálna BAA hra
Ručne dokončená hrateľná verzia je oddelená od poradia modelov a slúži ako samostatné demo pôvodného nápadu.
- Hrateľné
BAA - finálna hra
Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.