Benchmark LLM-iek

BEE-nchmark: rovnaký prompt, rozdielne hry.

BEE-nchmark porovnáva, ako rôzne modely zvládli zadanie vytvoriť krátku 3D arkádovú hru o zaháňaní oviec.

Zahrať najlepší výsledok · Claude Opus 5.5

Aktualizované Čas čítania 6 min

Výsledkov
61
Hrateľné výsledky
35
Demá na vyskúšanie
60
Metóda
Rovnaký prompt
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 5.5 Claude Opus 5.5 Gameplay screenshot hry BAA vygenerovanej modelom Claude Fable 5.1 Claude Fable 5.1 Gameplay screenshot hry BAA vygenerovanej modelom Kimi K3 Kimi K3 Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.3 Flash GLM 5.3 Flash Gameplay screenshot hry BAA vygenerovanej modelom GPT-6 Astra GPT-6 Astra Gameplay screenshot hry BAA vygenerovanej modelom Union Alpha Union Alpha Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.8 Flash Q2 Qwen 3.8 Flash Q2 Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4.1 Flash DeepSeek V4.1 Flash Gameplay screenshot hry BAA vygenerovanej modelom Muse Spark 1.3 Muse Spark 1.3

V skratke

  • Každý model dostal rovnaké zadanie vytvoriť krátku 3D hru o zaháňaní oviec.
  • Porovnávam screenshoty, hrateľnosť, chyby aj demá, ktoré sa dajú priamo spustiť.
  • Na prvom mieste je momentálne Claude Opus 5.5.
  • Pôvodné modelové výstupy zostávajú zachované; ručne dokončená hra je vedená samostatne.

Kompletné poradie

Výsledky a hrateľné demá

Predvolené poradie vychádza z praktického výsledku. Filtre nemenia poradie, iba skrývajú nezodpovedajúce modely.

Filtrovanie
Typ
Parametre
Autori
Poradie benchmarku Subjektívne poradie podľa praktického výsledku. Hrateľnosť a správne ovládanie hodnotím prísne, preto sú vizuálne lepšie hry s chybným ovládaním nižšie v poradí.
Náhľad Model Typ Počet parametrov / požiadavky** Výsledok Chyby Poznámka Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 5.5 1Claude Opus 5.5 Uzavretý — Splnil zadanie Hrateľný Bez viditeľných chýb
Generovanie po prvom prompte približne 2 h 35 min; 2 nepovinné následné prompty upravili obtiažnosť, ochotu oviec vojsť do ohrady v závere a hlasitosť zvuku.Zobraziť viacZobraziť menej Generovanie po prvom prompte približne 2 h 35 min; 2 nepovinné následné prompty upravili obtiažnosť, ochotu oviec vojsť do ohrady v závere a hlasitosť zvuku.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 5 2Claude Opus 5 Uzavretý — Splnil zadanie Hrateľný Bez zistených chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Fable 5.1 3Claude Fable 5.1 Uzavretý — Splnil zadanie Plne hrateľný Minimum drobných chýb Generovanie po prvom prompte približne 45 min; cena 12,56 USD; kontext 200K. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Fable 5 4Claude Fable 5 Uzavretý — Splnil zadanie Plne hrateľný Minimum, pár drobných chýb Reasoning effort 4/6, nie maximum.
Drobná oprava viewportu na Macoch.		 Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi K3 5Kimi K3 Otvorené váhy 2,8T 1,56 TB ≈147,9 GB / 100K Splnil zadanie Plne hrateľný Minimum, drobné chyby Cena generovania 7,31 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.3 Flash 6GLM 5.3 Flash Otvorené váhy; run zo stealth preview 320B ≈196,6 GB Splnil zadanie Hrateľný Málo drobných chýb
Generovanie sa dvakrát zastavilo a vyžadovalo krátke prompty na pokračovanie. Po prvom prompte trvalo približne 75 min.Zobraziť viacZobraziť menej Generovanie sa dvakrát zastavilo a vyžadovalo krátke prompty na pokračovanie. Po prvom prompte trvalo približne 75 min.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT-6 Astra 7GPT-6 Astra Uzavretý — Splnil zadanie Hrateľný Drobné chyby Generovanie po prvom prompte 23 min. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Union Alpha 8Union Alpha Uzavretý — Splnil zadanie Hrateľný Bez väčších chýb
Čas po prvom prompte: ≈27 min · ≈3 USD · 1 prompt na pokračovanie. Neskôr odhalený ako Pareto 26.9 (Circuit & Chisel).Zobraziť viacZobraziť menej Čas po prvom prompte: ≈27 min · ≈3 USD · 1 prompt na pokračovanie. Neskôr odhalený ako Pareto 26.9 (Circuit & Chisel).
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.8 Flash Q2 9Qwen 3.8 Flash Q2 Otvorené váhy 180B ≈110,1 GB Splnil zadanie Hrateľný Málo chýb
Čas po prvom prompte: 4 h 38 min · Q2 · max. kontext 262K s kompakciou · 2 opravné prompty po zastavení. Presný Q2 artefakt/revízia neboli uvedené.Zobraziť viacZobraziť menej Čas po prvom prompte: 4 h 38 min · Q2 · max. kontext 262K s kompakciou · 2 opravné prompty po zastavení. Presný Q2 artefakt/revízia neboli uvedené.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4.1 Flash 10DeepSeek V4.1 Flash Otvorené váhy 763,2B ≈466,9 GB Splnil zadanie Hrateľný Veľa chýb Generovanie po prvom prompte 1 h 55 min; cena 0,30 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.8 27B ThinkingCap 11Qwen 3.8 27B ThinkingCap Otvorené váhy 27B 19 GB ≈6,71 GB / 100K Splnil zadanie Hrateľný Málo chýb
Približne 8 prerušení počas generovania pre problémy so zápisom súborov; pokračovanie vyžadovalo menšie bloky. Kontext dosiahol 120K tokenov. Presný čas generovania ani revízia checkpointu nie sú dostupné.Zobraziť viacZobraziť menej Približne 8 prerušení počas generovania pre problémy so zápisom súborov; pokračovanie vyžadovalo menšie bloky. Kontext dosiahol 120K tokenov. Presný čas generovania ani revízia checkpointu nie sú dostupné.
Demo
Snímka výsledku BAA modelu GPT-6.0 Sol 12GPT-6.0 Sol Uzavretý — Splnil zadanie Hrateľný Veľa chýb - Demo
Snímka výsledku BAA modelu GPT-6.1 Sol 13GPT-6.1 Sol Uzavretý — Splnil zadanie Hrateľný Veľa chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT-5.6 Sol 14GPT-5.6 Sol Uzavretý — Splnil zadanie Hrateľný Málo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Opus 4.8 15Claude Opus 4.8 Uzavretý — Splnil zadanie Hrateľný Málo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Muse Spark 1.3 16Muse Spark 1.3 Uzavretý — Splnil zadanie Hrateľný Veľa chýb Generovanie po prvom prompte 3 h 55 min; cena 0,33 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Grok 4.6 17Grok 4.6 Uzavretý — Splnil zadanie čiastočne Hrateľný Veľa vážnych chýb Generovanie po prvom prompte 19 min; cena 1,54 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Grok 4.5 18Grok 4.5 Uzavretý — Splnil zadanie Hrateľný Bez zjavnej vážnej chyby - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.8 Flash 19Gemini 3.8 Flash Uzavretý — Splnil zadanie Hrateľný Veľa drobných chýb Generovanie po prvom prompte približne 7,5 min; cena 0,58 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.5 Flash 20Gemini 3.5 Flash Uzavretý — Splnil zadanie Hrateľný Málo chýb Vyžadoval 1 opravný prompt. Demo
Snímka výsledku BAA modelu GPT-6 Luna 21GPT-6 Luna Uzavretý — Splnil zadanie Hrateľný Veľmi veľa chýb 1 opravný prompt na zobrazenie hry. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.8 27B 22Qwen 3.8 27B Otvorené váhy 27B 19 GB ≈6,71 GB / 100K Splnil zadanie Hrateľný Málo drobných chýb
Generovanie po prvom prompte trvalo 4 h a zastavilo sa pri 187K tokenoch kontextu. Na začiatku potrebovalo dva krátke prompty na pokračovanie.Zobraziť viacZobraziť menej Generovanie po prvom prompte trvalo 4 h a zastavilo sa pri 187K tokenoch kontextu. Na začiatku potrebovalo dva krátke prompty na pokračovanie.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.6 Flash 23Gemini 3.6 Flash Uzavretý — Splnil zadanie Hrateľný Bez vážnych chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B ThinkingCap 24Qwen 3.6 27B ThinkingCap Otvorené váhy, GGUF 27B 16,8 GB ≈6,71 GB / 100K Splnil zadanie čiastočne Hrateľný Bez vážnych chýb ThinkingCap úprava od Bottlecapu. Generovanie po prvom prompte trvalo 17 minút; bez opravného promptu. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Muse Spark 1.2 25Muse Spark 1.2 Uzavretý — Splnil zadanie čiastočne Hrateľný Veľa chýb, po čase zamŕza Čas po prvom prompte: 4 min 19 s. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT-5.6 Terra 26GPT-5.6 Terra Uzavretý — Splnil zadanie Hrateľný Veľa chýb Čas po prvom prompte: 20 min. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 397B A17B 27Qwen 3.5 397B A17B Otvorené váhy 397B 235,7 GB ≈3,27 GB / 100K Splnil zadanie čiastočne Hrateľný Veľa vážnych chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M2.7 28MiniMax M2.7 Otvorené váhy 229,9B ≈139,9 GB ≈25,4 GB / 100K Splnil zadanie čiastočne Hrateľný Veľa vážnych chýb Postavy sa takmer vôbec nehýbu. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.8 Max Preview 29Qwen 3.8 Max Preview Uzavretý 2,4T Zadanie splnil vo veľkej miere Hrateľný Zvláštne ovládanie, málo ďalších chýb Generovanie sa z neznámeho dôvodu zastavilo pred dokončením. Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Pro 0831 30DeepSeek V4 Pro 0831 Otvorené váhy 1,6T 864,7 GB ≈1,01 GB / 100K Zadanie splnil vo veľkej miere Hrateľný Veľa chýb, zvláštne ovládanie
Generovanie po prvom prompte trvalo vyše 2 h a stálo 6,11 USD. Po jednom zastavení potrebovalo krátky prompt na pokračovanie.Zobraziť viacZobraziť menej Generovanie po prvom prompte trvalo vyše 2 h a stálo 6,11 USD. Po jednom zastavení potrebovalo krátky prompt na pokračovanie.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Flash 0731 DS4 31DeepSeek V4 Flash 0731 DS4 Otvorené váhy 284B 164,6 GB ≈1,22 GB / 100K Splnil zadanie čiastočne Hrateľný Zvláštna kamera a množstvo chýb Použitá úspornejšia Q2 kvantizácia, ktorá sa zmestila do 96 GB RAM. Čas po prvom prompte: 1 h 49 min. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.3 Flash cez Claude Code 32GLM 5.3 Flash + Claude Code Otvorené váhy cez Claude Code 320B ≈196,6 GB Splnil zadanie čiastočne Hrateľný s problémami Veľa chýb; obrátené ovládanie
GLM 5.3 Flash cez Claude Code, effort max. Generovanie po prvom prompte 2 h 49 min; spustenie sa podarilo až po viacerých pokusoch.Zobraziť viacZobraziť menej GLM 5.3 Flash cez Claude Code, effort max. Generovanie po prvom prompte 2 h 49 min; spustenie sa podarilo až po viacerých pokusoch.
Demo
Snímka výsledku BAA modelu Fable 5 UltraCode 33Fable 5 UltraCode Uzavretý — Splnil zadanie Hrateľný Vzdialená kamera Režim UltraCode. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemini 3.7 Flash 34Gemini 3.7 Flash Uzavretý — Splnil zadanie čiastočne Nehrateľný Množstvo chýb vrátane obráteného pohybu dopredu a dozadu
Vyžadoval 1 krátky prompt na pokračovanie generovania druhého levelu. Generovanie po prvom prompte trvalo približne 7 min.Zobraziť viacZobraziť menej Vyžadoval 1 krátky prompt na pokračovanie generovania druhého levelu. Generovanie po prvom prompte trvalo približne 7 min.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Flash Vision Exp 35DeepSeek V4 Flash Vision Exp Uzavretý — Splnil zadanie čiastočne Nehrateľný Veľa vážnych chýb
Generovanie po prvom prompte 11 min; cena približne 0,64 centa. Vyžadoval 2 opravné prompty; druhý obnovil ploty, ale zostali rozbité.Zobraziť viacZobraziť menej Generovanie po prvom prompte 11 min; cena približne 0,64 centa. Vyžadoval 2 opravné prompty; druhý obnovil ploty, ale zostali rozbité.
Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT-5.5 36GPT-5.5 Uzavretý — Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiniMax M3 37MiniMax M3 Otvorené váhy 428B ≈261,3 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Claude Sonnet 4.6 38Claude Sonnet 4.6 Uzavretý — Splnil zadanie čiastočne Nehrateľný Niekoľko chýb Generovanie po prvom prompte trvalo mimoriadne dlho, vyše hodiny. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 5.2 39GLM 5.2 Otvorené váhy (OpenRouter) 744B 464,8 GB ≈9,52 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Snímka výsledku BAA modelu MiMo v2.6 Pro 40MiMo v2.6 Pro Otvorené váhy — Čiastočne splnil zadanie Nehrateľný Veľmi veľa vážnych chýb Cena generovania 0,12 USD. Demo
Snímka výsledku BAA modelu MiMo v2.6 Flash 41MiMo v2.6 Flash Otvorené váhy — Čiastočne splnil zadanie Nehrateľný Veľmi veľa vážnych chýb Cena generovania 0,03 USD. Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Flash 42DeepSeek V4 Flash Otvorené váhy (OpenRouter) 284B 159,6 GB ≈0,71 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.7 Max 43Qwen 3.7 Max Uzavretý — Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom DeepSeek V4 Pro 44DeepSeek V4 Pro Otvorené váhy (OpenRouter) 1,6T 864,7 GB ≈1,01 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Big Pickle 45Big Pickle Neznáme — Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Kimi 2.7 Code 46Kimi 2.7 Code Otvorené váhy (OpenRouter) 1T 595,2 GB Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 3 opravné prompty. Demo
Snímka výsledku BAA modelu Qwen 3.6 27B MLX 47Qwen 3.6 27B MLX Otvorené váhy 27B 19,1 GB ≈6,71 GB / 100K Čiastočne splnil zadanie Nehrateľný Veľa chýb Beh vo formáte MLX; 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 27B 48Qwen 3.6 27B Otvorené váhy 27B 19,1 GB ≈6,71 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb - Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 122B A10B 49Qwen 3.5 122B A10B Otvorené váhy 122B 78,9 GB ≈2,61 GB / 100K Splnil zadanie čiastočne Nehrateľný Veľmi veľa chýb Ovce aj pes lietajú. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GLM 4.7 Flash 50GLM 4.7 Flash Otvorené váhy (OpenRouter) 30B ≈19,1 GB ≈5,41 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.6 35B A3B 51Qwen 3.6 35B A3B Otvorené váhy 35B ≈21,4 GB ≈2,11 GB / 100K Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval ešte 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Muse Glimmer 30B 52Muse Glimmer 30B Otvorené váhy 29,6B 16,8 GB ≈1,41 GB / 100K Splnil zadanie čiastočne Hrateľný Veľmi veľa vážnych chýb, statická kamera Generovanie po prvom prompte trvalo 6 minút. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Gemma 4 31B 53Gemma 4 31B Otvorené váhy 30,7B 17,7 GB ≈9,03 GB / 100K Zadanie splnil len veľmi čiastočne Nehrateľný Množstvo chýb Vyžadoval ešte 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Laguna S 2.1 54Laguna S 2.1 Otvorené váhy 118B 71,9 GB ≈4,99 GB / 100K Nesplnil zadanie Nehrateľný Veľmi veľa vážnych chýb; padá Vyžadoval 5 opravných promptov; generovanie po prvom prompte trvalo 1 h 31 min. Demo
Gameplay screenshot hry BAA vygenerovanej modelom GPT-5.6 Luna 55GPT-5.6 Luna Uzavretý — Nesplnil zadanie Hrateľný Pár chýb Čas po prvom prompte: 13 min 26 s. Demo
Gameplay screenshot hry BAA vygenerovanej modelom MiMo v5 56MiMo v5 Otvorené váhy — Splnil zadanie čiastočne Nehrateľný Množstvo chýb Vyžadoval 1 opravný prompt. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Mistral Small 4 57Mistral Small 4 Otvorené váhy 119B 70,8 GB ≈2,3 GB / 100K Nesplnil zadanie Absolútne nehrateľný Veľmi veľa vážnych chýb Vyžadoval 3 opravné prompty. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Ornith 1.0 35B 58Ornith 1.0 35B Otvorené váhy 35B 21,2 GB ≈2,11 GB / 100K Nesplnil zadanie Absolútne nehrateľný Množstvo chýb Vyžadoval 2 opravné prompty. Demo
Gameplay screenshot hry BAA vygenerovanej modelom Qwen 3.5 A3B 59Qwen 3.5 A3B Otvorené váhy — Nesplnil zadanie Absolútne nehrateľný Množstvo chýb - Demo
Snímka výsledku BAA modelu Qwen 3.6 27B GGUF 60Qwen 3.6 27B GGUF Otvorené váhy 27B 19,1 GB ≈6,71 GB / 100K Čiastočne splnil zadanie Nehrateľný Pád pri štarte levelu Beh vo formáte GGUF. Demo
61Nemotron 3 Ultra Otvorené váhy 550B 352,3 GB Nesplnil zadanie Nič nevygeneroval — - —

**Podľa dostupnosti: počet parametrov, veľkosť Q4 váh pri 0K a cache/stav pri 100K. Váhy sú konkrétny Q4 checkpoint alebo označený odhad Q4_K_M; 100K platí pre jednu sekvenciu v zdokumentovanom runtime. Kvantizácia váh nemení cache, pokiaľ runtime zachová rovnaký cache layout a dátové typy. Pri hybridných modeloch sa môže iný runtime výrazne líšiť. Neoveriteľné údaje sa nezobrazujú a samotná pomlčka znamená, že nie je známy žiadny údaj. Bez runtime bufferov, vision častí a offloadu; nejde o univerzálne minimum RAM/VRAM.

Poznámky sa týkajú opravných promptov potrebných na spustenie hry (napríklad JavaScript chyba) a prípadných nastavení behu, ako je reasoning effort. Žiadny opravný prompt sa netýkal ladenia samotnej hry.

Na mobile alebo tablete tlačidlo Demo otvorí ovládací panel so šípkami a A/B; pri hre s vlastným dotykovým ovládaním otvorí originál. Pôvodný benchmark kód ostáva nezmenený.

Stiahnuť výsledky benchmarku ako JSON

Zdroje a údaje behov

dátumy, prompt, typ behu, checkpointy, revízie a pamäťové údaje

Uvádzame iba zdokumentované údaje. Dátum, verzia promptu a typ behu sú pri výsledku zobrazené len vtedy, keď boli zaznamenané; historické medzery neodhadujeme. Veľkosť Q4 váh nie je celková potreba RAM; cache alebo stav pri 100K je samostatný údaj pre jednu sekvenciu a uvedený runtime.

Claude Opus 5.5
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Claude Fable 5.1
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Kimi K3
Checkpoint alebo revízia
moonshotai/Kimi-K3@9f62e4e9fffbd0a83ddd60e1c209d828994b3569
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho MXFP4 artefaktu (moonshotai/Kimi-K3). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, ref.).

Verejné zdroje

GLM 5.3 Flash
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
zai-org/GLM-5.3-Flash@690b705278a3a58e538fcb37c2ca8b5f9511213c
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 320B parametrov pri 4,8944 bitu na parameter.

Verejné zdroje

GPT-6 Astra
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Union Alpha
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Qwen 3.8 Flash Q2
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
Qwen/Qwen3.8-Flash-Next@de4b8e4d43b917e7706784d8bb445c9af86a3540
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 180B parametrov pri 4,8944 bitu na parameter.

Verejné zdroje

DeepSeek V4.1 Flash
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Checkpoint alebo revízia
deepseek-ai/DeepSeek-V4.1-Flash@dba1be0a40aa45a94ad051997016db3960a90277
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 763,2B parametrov pri 4,8944 bitu na parameter.

Verejné zdroje

Qwen 3.8 27B ThinkingCap
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
Qwen/Qwen3.8-27B@1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ggml-org/Qwen3.8-27B-GGUF). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

GPT-6.0 Sol
Testované
Prompt
BAA originál (SK)
Checkpoint alebo revízia
gpt-6-sol (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

GPT-6.1 Sol
Testované
Prompt
BAA originál (SK)
Checkpoint alebo revízia
gpt-6.1-sol (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

Muse Spark 1.3
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Grok 4.6
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Gemini 3.8 Flash
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
GPT-6 Luna
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
gpt-6-luna (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

Qwen 3.6 27B ThinkingCap
Checkpoint alebo revízia
bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF@0982db1be5e1e6cf7163ba89d7f63a9f18d2f4f0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ThinkingCap-Qwen3.6-27B-Q4_K_M.gguf). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

GPT-5.6 Terra
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Qwen 3.5 397B A17B
Checkpoint alebo revízia
Qwen/Qwen3.5-397B-A17B-GPTQ-Int4@df333de344e06b492063d1ca04e2d4ee878f7595
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GPTQ-Int4 artefaktu (Qwen/Qwen3.5-397B-A17B-GPTQ-Int4). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

MiniMax M2.7
Checkpoint alebo revízia
MiniMaxAI/MiniMax-M2.7@d494266a4affc0d2995ba1fa35c8481cbd84294b
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 229,9B parametrov pri 4,8944 bitu na parameter. Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, architecture formula).

Verejné zdroje

Qwen 3.8 Max Preview
Checkpoint alebo revízia
qwen3.8-max-preview (hosted endpoint observed 2026-08-07)
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.

Verejné zdroje

DeepSeek V4 Pro 0831
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
deepseek-ai/DeepSeek-V4-Pro@b5968e9190ef611bbf34a7229255be88a0e937c1
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho FP4/FP8 artefaktu (deepseek-ai/DeepSeek-V4-Pro). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, ref.).

Verejné zdroje

DeepSeek V4 Flash 0731 DS4
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Checkpoint alebo revízia
deepseek-ai/DeepSeek-V4-Flash-0731@7872f01b1d1fe23eabc4c98b48bffcef5a386062
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho DS4 Q4 GGUF (Q4_K routed experts) artefaktu (antirez/deepseek-v4-gguf/DeepSeek-V4-Flash-Q4KExperts-F16HC-F16Compressor-F16Indexer-Q8Attn-Q8Shared-Q8Out-chat-v2-imatrix-0731.gguf). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (DS4 F16/F32 cache/stav, DS4).

Verejné zdroje

Fable 5 UltraCode
Testované
Prompt
BAA originál (SK)
Checkpoint alebo revízia
Fable 5 / UltraCode (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

Gemini 3.7 Flash
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
DeepSeek V4 Flash Vision Exp
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
MiniMax M3
Checkpoint alebo revízia
MiniMaxAI/MiniMax-M3@f0e1c1e04d40177e4673a22097036854f536e9c0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 428B parametrov pri 4,8944 bitu na parameter.

Verejné zdroje

GLM 5.2
Checkpoint alebo revízia
zai-org/GLM-5.2@b4734de4facf877f85769a911abafc5283eab3d9
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho NVFP4 artefaktu (nvidia/GLM-5.2-NVFP4). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, vLLM).

Verejné zdroje

MiMo v2.6 Pro
Testované
Prompt
BAA originál (SK)
Checkpoint alebo revízia
mimo-v2.6-pro (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

MiMo v2.6 Flash
Testované
Prompt
BAA originál (SK)
Checkpoint alebo revízia
mimo-v2.6-flash (API alias; served snapshot not recorded)
Naposledy overené

Verejné zdroje

DeepSeek V4 Flash
Checkpoint alebo revízia
deepseek-ai/DeepSeek-V4-Flash@60d8d70770c6776ff598c94bb586a859a38244f1
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho FP4/FP8 artefaktu (deepseek-ai/DeepSeek-V4-Flash). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, ref.).

Verejné zdroje

Kimi 2.7 Code
Checkpoint alebo revízia
moonshotai/Kimi-K2.7-Code@74797c9c62378b951a1f6fcf5c4631024e9b8bef
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho INT4 artefaktu (moonshotai/Kimi-K2.7-Code).

Verejné zdroje

Qwen 3.6 27B MLX
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
Qwen/Qwen3.6-27B@6a9e13bd6fc8f0983b9b99948120bc37f49c13e9
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ggml-org/Qwen3.6-27B-GGUF). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

Qwen 3.5 122B A10B
Checkpoint alebo revízia
Qwen/Qwen3.5-122B-A10B-GPTQ-Int4@30cd92cba9707a9aba09d1e490ed4b66b78e9606
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GPTQ-Int4 artefaktu (Qwen/Qwen3.5-122B-A10B-GPTQ-Int4). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

GLM 4.7 Flash
Checkpoint alebo revízia
zai-org/GLM-4.7-Flash@7dd20894a642a0aa287e9827cb1a1f7f91386b67
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 30B parametrov pri 4,8944 bitu na parameter. Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, vLLM).

Verejné zdroje

Qwen 3.6 35B A3B
Checkpoint alebo revízia
Qwen/Qwen3.6-35B-A3B@995ad96eacd98c81ed38be0c5b274b04031597b0
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Odhad GGUF Q4_K_M z 35B parametrov pri 4,8944 bitu na parameter. Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

Muse Glimmer 30B
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Checkpoint alebo revízia
meta-models/Muse-Glimmer-30B@a4e59da52a7bc87ae7251dd5545c0dd437c44b68
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (meta-models/Muse-Glimmer-30B-GGUF). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, Transformers).

Verejné zdroje

Gemma 4 31B
Checkpoint alebo revízia
google/gemma-4-31B-it-qat-q4_0-gguf@59dde24573e7e61570dba08b18a2e1fe246955ed
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho QAT Q4_0 GGUF artefaktu (google/gemma-4-31B-it-qat-q4_0-gguf). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, Transformers).

Verejné zdroje

Laguna S 2.1
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
viac promptov
Checkpoint alebo revízia
poolside/Laguna-S-2.1-NVFP4-mlx@e6a961c3bbebfffd8fa5b42f243e375504f41edd
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho NVFP4 MLX artefaktu (poolside/Laguna-S-2.1-NVFP4-mlx). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, architecture formula).

Verejné zdroje

GPT-5.6 Luna
Vytvorené
Testované
Prompt
BAA originál (SK)
Typ behu
one-shot
Mistral Small 4
Checkpoint alebo revízia
mistralai/Mistral-Small-4-119B-2603-NVFP4@b1a9048590131d38491bd23a7c9f6ed0962f0358
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho NVFP4 artefaktu (mistralai/Mistral-Small-4-119B-2603-NVFP4). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16, vLLM).

Verejné zdroje

Ornith 1.0 35B
Checkpoint alebo revízia
ornith-ai/Ornith-1.0-35B-GGUF@383064f72a1ef3087b779f268d3ca117eb989aac
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho GGUF Q4_K_M artefaktu (ornith-ai/Ornith-1.0-35B-GGUF). Výpočet cache/stavu pre 100K tokenov a jednu sekvenciu (BF16 KV/FP32 stav, Transformers).

Verejné zdroje

Qwen 3.5 A3B
Naposledy overené

Verejné zdroje

Nemotron 3 Ultra
Checkpoint alebo revízia
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4@183968f87ae4cedce3039313cac1fd43d112c578
Naposledy overené
Parametre
Počet parametrov bol overený podľa uvedených zdrojov.
Základ údajov
Meraná veľkosť konkrétneho NVFP4 artefaktu (nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4).

Verejné zdroje

Metodika

Zadanie použité na porovnanie

Prompt je zachovaný v pôvodnom znení. Hodnotenie vychádza z reálneho spustenia, hrateľnosti, chýb a obmedzení konkrétneho výstupu.

Prompt použitý na porovnanie

Chcel by som vytvorit jednoduchu arkadovu hru, trocha akoby to bola nintendo hra ale v 3D s pohladu z tretej osoby ale trocha vzdialena kamera. Hra bude v prostredi luk v horach na kopcovitom vlnenom terene kde sa pasu ovce, Vacsina plochy budu luky, v pozadi hory a lesy a nejake domy. Hrac bude hrat za ovciarskeho alebo ineho psa ktory sa pouziva pri zahanani oviec, nech si vie vybrat z par plemien ktore sa budu lisit niektorymi vlastnostami. Hrac bude mat moznost sa pohybovat sipkami, medzerou alebo nejakym vhodnym key na klavesnici bude moct brechat co bude moct pouzit aj na ovce teda ak to realne pomaha pri zahanani, ale aj na odplasenie inych zvierat, napr. inych psov, vlkov, medveda, ludi okrem pastiera ktory sa bude tiez nachadzat na luke. Ovce nech reaguju na psa cize budu sa pohybovat v stade ale budu sa pohybovat tak ako ich pes zazenie, nech beekaju (baa), ale nech to je arkadove. Podstata hry ma byt zaviest ovce do kosiara cize, z bodu A do bodu B a celit nastraham ako su obcasne vypady inych psov, vynimocne vlkov, alebo medveda. Vlci a medved nech su nieco ako bosovia alebo proste vacsie prekazky v dalsich levelov. Vymysli si mensie lahsie prekazky v prvych leveloch. Levelov nech je nejaky rozumny pocet, mysli na to ze toto ma byt kratka hra na pobavenie na par minut max par desiatok minut mozno 1 hodina ak by sa to hralo do konca do posledneho levela. Na mape by sa mohli objavovat aj ine zvierata, navhrni napr. kravy, lisky obcas niekde nejake vtaky atd. proste priroda. Nech su okrem luk aj nejaka ta polna cesta, obcas nejake prekazdky ci uz v podobe ohrad, utesov, krikov cez ktore ovce neprejdu. Grafika nech je pekna, farebna, arkadova, trocha nech pripomina akoby to bolo nintendo hra ale nekopiruj ziadnu konkretnu hru respektive jej dizajn. Hru napis v html/javascript/

Samostatné demo

Finálna BAA hra

Ručne dokončená hrateľná verzia je oddelená od poradia modelov a slúži ako samostatné demo pôvodného nápadu.

Gameplay screenshot finálnej hry BAA
  • Hrateľné

BAA - finálna hra

Krátka 3D arkádová hra o ovčiarskom psovi, ktorý ženie stádo cez lúky do košiara. Toto je hrateľná verzia; vyššie je vidieť, ako rovnaké zadanie zvládli jednotlivé modely.

Spustiť finálnu hru

FAQ

Časté otázky o BEE-nchmarku

Čo je BEE-nchmark?

Porovnanie AI modelov na rovnakom zadaní: vytvoriť krátku 3D arkádovú hru o ovčiarskom psovi a zaháňaní oviec.

Dajú sa hry zahrať?

Áno. Pri výsledkoch, ktoré sa dajú spustiť, je priamo dostupné hrateľné demo.

Ako vzniká poradie?

Poradie vychádza z praktického hodnotenia splnenia zadania, hrateľnosti, ovládania, vizuálnej kvality a chýb.

Sú pôvodné výstupy modelov upravené?

Pôvodné benchmarkové projekty zostávajú zachované. Web môže použiť samostatný obal pre mobilné ovládanie, ktorý nemení pravidlá ani logiku hry.

Počíta sa finálna BAA hra do poradia?

Nie. Ručne dokončená verzia je samostatné demo pôvodného nápadu a do poradia modelov nevstupuje.