Lokálne modely už nie sú hračka: Qwen ako mozog, GLM ako zdroj nápadov a Fusion ako poistka

V posledných článkoch som veľa riešil frontier modely: GPT, Claude, Gemini, DeepSeek, HyperFusion Deep a otázku, kam až sa dá posunúť kvalita uvažovania, keď použijeme najsilnejšie dostupné systémy.

Lenže v praxi je tu ešte druhá, oveľa pozemskejšia otázka.

Musí všetko chodiť k tretím stranám?

Mnoho firiem aj jednotlivcov má veľmi dobrý dôvod byť opatrní. Citlivé firemné dáta, interné dokumenty, právne texty, osobné údaje, stratégie, zdrojové kódy alebo súkromné poznámky často nechcete posielať do cudzieho cloudu. A už vôbec nie tam, kde presne neviete, v ktorej krajine sa dáta spracúvajú, kto k nim má prevádzkový prístup a aké regulačné dôsledky to môže mať.

Pre európske firmy je to obzvlášť citlivá téma. Nie je to paranoja. Je to compliance, obchodné tajomstvo, GDPR, kyberbezpečnosť a obyčajná potreba mať vlastné dáta pod kontrolou.

Preto som si položil inú otázku:

Čo ak si silnú AI skúsime postaviť naozaj u seba?

Nie cez frontier API, nie v cloude, ale na jednej silnej grafickej karte a s open-weight modelmi, ktoré bežia pod vlastnou kontrolou.

Vzal som svoj notebook s RTX 5090, rozchodil na ňom niekoľko lokálnych modelov a skúšal, ako ďaleko sa dá dostať bez toho, aby dáta opustili môj vlastný stroj. Nešlo mi len o spustenie jedného modelu a meranie rýchlosti. Chcel som zistiť, či sa lokálne modely dajú prepojiť do systému: rýchly model ako zdroj návrhov, silnejší model ako hlavný reasoner a sudca, a nad tým jednoduchá fúzia odpovedí.

Ak sme teda doteraz riešili, aké chytré sú najlepšie modely sveta, tu som skúsil opačný pohľad:

Aký chytrý systém si dnes viem postaviť lokálne, lacno a pod vlastnou kontrolou?

Zobral som preto rovnaký typ úlohy ako v jednootázkovom benchmarku a pustil ho na dvoch lokálnych modeloch:

• GLM-4.7-Flash-Heretic-NEO-CODE, Q4_K_M, približne 17,6 GB
• Qwen3.6-27B, Q4_K_M, približne 16 GB

Setup: llama.cpp cez CUDA na RTX 5090 s 24 GB VRAM, kontext 32768, zapnutý flash attention a lokálne OpenAI-kompatibilné API.

Prečo sa modely správali tak rozdielne: MoE proti dense

Najdôležitejšie nie je iba to, že Qwen vyhral. GLM a Qwen sú dva odlišné návrhy mozgu.

GLM 4.7 Flash Heretic je rýchly, ale plytší MoE model. Architektúra je v štýle DeepSeek-V2: Mixture-of-Experts s MLA pozornosťou. Označenie 64x2.6B znamená 64 expertov, ale na každý token sa aktivujú iba 4 experti plus jeden zdieľaný. Z približne 30 miliárd parametrov spolu reálne pre jeden token „myslí“ len asi 3-4 miliardy aktívnych parametrov. Má 47 vrstiev, embedding 2048, extrémne stlačené KV (head_count_kv=1), slovník 154 880 a natívny kontext okolo 200k tokenov. Heretic / NEO-CODE označuje komunitný finetune: menej cenzúry a väčšie zameranie na kód.

Práve táto riedkosť vysvetľuje výsledok. GLM bežal okolo 140 tokenov za sekundu a stál približne 2,8 Kč za milión tokenov. Ako rýchly draftovací motor je výborný. Lenže každý token prejde iba cez časť siete, čo sa pri reasoning úlohe prejavilo slabšou verifikáciou.

Qwen3.6-27B je naopak dense model. Žiadni experti, žiadne riedke routovanie. Všetkých 27 miliárd parametrov sa zapája do každého tokenu. V Q4_K_M zaberal okolo 16 GB, má 64 vrstiev, embedding 5120, GQA s pomerom hláv 24:4 a natívny kontext až 256k tokenov. Bežal len okolo 36 tokenov za sekundu a vychádzal približne na 11 Kč za milión tokenov, ale benchmark zvládol bez chyby.

Jednou vetou:

GLM je riedky MoE optimalizovaný na rýchlosť: lacný a svižný, ale v uvažovaní plytší. Qwen je dense model, ktorý do každého tokenu zapojí asi 7-8× viac aktívneho „mozgu“: pomalšie, drahšie, ale výrazne spoľahlivejšie.

Pasca: mep, dap a robot

Test vyzerá banálne: odvodiť pravidlá mep a dap, spočítať mep(5,8) a dap(5,8), vyriešiť malú robotickú úlohu a pomenovať neistotu.

Správne jednoduché hypotézy sú:

• mep(x,y) = x * (y + 1), teda mep(5,8) = 45
• dap(x,y) = x^2 + y^2, teda dap(5,8) = 89

Robot začína v (0,0) a môže robiť len kroky (+2,+1) alebo (+1,+3). Aby sa dostal do (17,24), muselo by platiť:

2a + b = 17
a + 3b = 24

Vyjde a = 27/5, čo nie je celé číslo. Bod je nedosiahnuteľný.

Ťažké nie je počítanie. Ťažká je disciplína: overí model hypotézu na všetkých dátach, alebo sa uspokojí s pekným vzorom?

Výsledky: Qwen čisto, GLM rýchlo, Fusion najlepšie

Stručne:

• GLM baseline: rýchly, ale zlé mep, zlé dap, zlé čísla. Približne 38/100.
• GLM boost: opravil dap, ale prehodil asymetriu mep a dostal 48 namiesto 45. Približne 58/100.
• Qwen baseline: správne pravidlá, správny robot, slušná metakognícia. Približne 93/100.
• Qwen boost: stabilný naprieč teplotami a správny v dôležitých častiach. Približne 95/100.
• Lokálna Fusion: rozsúdila rozpory, zahodila chybné odpovede a ponechala najlepšie časti. Približne 98/100.

Najdôležitejšia veta v prompte bola jednoduchá:

Over hypotézu na všetkých dátach. Ak jediný prípad nesedí, zahoď ju.

Qwen to robil takmer sám. GLM nie. Viac „premýšľania“ nestačí; rozhoduje overovanie a schopnosť skončiť.

Ako sme modely prepojili

Princíp v jednej vete:

Oba modely odpovedia nezávisle, nazbierame panel kandidátov naprieč teplotami a potom silnejší Qwen ako sudca overí odpovede proti dátam, rozsúdi rozpory a finálnu odpoveď vyberie a doplní.

ZADANIE (mep/dap + robot + metakognícia)
        │
        ├── GLM 4.7 Flash, MoE ~3-4B aktívnych parametrov
        │      rýchla diverzita, často zlé mep
        │
        └── Qwen3.6-27B, dense 27B
               pomalší, stabilný a správny

        ↓

ANONYMIZOVANÝ PANEL A · B · C · D
        ↓
SUDCA = Qwen3.6-27B @ temp 0
        1) overí každé pravidlo na všetkých dátach
        2) nájde rozpory a pasce
        3) vyberie najlepší základ
        ↓
SYNTÉZA = vyber a doplň
        ↓
FINÁLNA ODPOVEĎ ~98/100
        45 · 89 · robot nedosiahnuteľný

Prečo Fusion porazila najlepší jednotlivý beh?

1. Lacná diverzita: GLM rýchlo pridá kandidátov.
2. Sudca overuje, nepriemeruje: 48, 40 a -39 sa zahodia, lebo nesedia na dátach.
3. Konfrontácia chytí elegantné chyby: pekný robotí invariant od GLM mal aritmetickú dieru.
4. Vyber a doplň namiesto prepisu od nuly: najlepšia odpoveď sa nestratí.

Stručne: GLM = rýchly zdroj nápadov, Qwen = mozog aj porota, Fusion = poistka.

Lokálne modely v širšom kontexte

Neznamená to, že Qwen 27B je všeobecne rovnako silný ako najlepšie frontier modely. Znamená to užšiu vec: v tejto konkrétnej triede úloh je lokálny Qwen plus jednoduchá Fusion už seriózny nástroj.

V praxi by som pipeline skladal takto:

1. GLM ako rýchly divergentný drafter.
2. Qwen ako hlavný reasoner.
3. Self-consistency pre číselné výsledky.
4. Qwen ako judge/synth pri teplote 0.
5. Tvrdé pravidlá terminácie.

Skutočná otázka teda neznie len „ktorý model je najlepší?“, ale: kto odpovedá, kto overuje, kto má právo zahodiť krásnu chybu a kto skladá finálny verdikt?

Lokálne sme už prekvapivo blízko.