Lokalne modele to już nie zabawka: Qwen jako mózg, GLM jako generator pomysłów, Fusion jako zabezpieczenie

W ostatnich tekstach dużo zajmowałem się modelami frontier: GPT, Claude, Gemini, DeepSeek, HyperFusion Deep i pytaniem, jak daleko można przesunąć jakość rozumowania, gdy używa się najmocniejszych dostępnych systemów.

Ale w praktyce istnieje jeszcze drugie, bardziej przyziemne pytanie.

Czy wszystko musi trafiać do firm trzecich?

Wiele firm i osób prywatnych ma bardzo dobry powód, by zachować ostrożność. Wrażliwe dane firmowe, dokumenty wewnętrzne, teksty prawne, dane osobowe, strategie, kod źródłowy czy prywatne notatki nie zawsze powinny trafiać do cudzej chmury. Zwłaszcza jeśli nie mamy pełnej pewności, w jakim kraju dane są przetwarzane, kto ma do nich operacyjny dostęp i jakie mogą być konsekwencje regulacyjne.

Dla europejskich firm to szczególnie ważne. To nie paranoja, tylko compliance, tajemnica przedsiębiorstwa, RODO, cyberbezpieczeństwo i zwykła potrzeba kontroli nad własnymi danymi.

Dlatego zadałem inne pytanie:

Co jeśli spróbować zbudować silną AI naprawdę lokalnie?

Nie przez API modeli frontier, nie w chmurze, tylko na jednej mocnej karcie graficznej i na modelach open-weight uruchamianych pod własną kontrolą.

Wziąłem więc swój notebook z RTX 5090, uruchomiłem na nim kilka lokalnych modeli i sprawdziłem, jak daleko da się dojść bez wysyłania danych poza własną maszynę. Nie chodziło tylko o odpalenie jednego modelu i zmierzenie szybkości. Chciałem zobaczyć, czy lokalne modele da się połączyć w system: szybki model jako źródło kandydatów, mocniejszy model jako główny reasoner i sędzia, a nad tym prosta warstwa Fusion.

Jeśli więc poprzednie teksty pytały, jak inteligentne są najlepsze modele świata, ten eksperyment pyta odwrotnie:

Jak inteligentny system da się dziś zbudować lokalnie, tanio i pod własną kontrolą?

Wziąłem więc ten sam typ zadania, który pojawił się w benchmarku jednej otázki, i uruchomiłem go na dwóch lokalnych modelach:

• GLM-4.7-Flash-Heretic-NEO-CODE, Q4_K_M, około 17,6 GB
• Qwen3.6-27B, Q4_K_M, około 16 GB

Setup: llama.cpp z CUDA na RTX 5090 z 24 GB VRAM, kontekst 32768, flash attention i lokalne API kompatybilne z OpenAI.

Dlaczego modele zachowywały się tak różnie: MoE kontra dense

Najważniejsze nie jest samo to, że Qwen wygrał. GLM i Qwen to dwa różne projekty „mózgu”.

GLM 4.7 Flash Heretic to szybki, ale płytszy model MoE. Architektura jest w stylu DeepSeek-V2: Mixture-of-Experts z uwagą MLA. Etykieta 64x2.6B oznacza 64 ekspertów, ale na każdy token aktywują się tylko 4 eksperci plus jeden wspólny. Z około 30 miliardów parametrów łącznie model realnie używa tylko około 3-4 miliardów aktywnych parametrów na token. Ma 47 warstw, embedding 2048, mocno skompresowane KV (head_count_kv=1), słownik 154 880 tokenów i natywny kontekst około 200k tokenów. Heretic / NEO-CODE to społecznościowy finetune: mniej cenzury i większy nacisk na kod.

Ta rzadkość dobrze tłumaczy wynik. GLM osiągał około 140 tokenów na sekundę i kosztował w przeliczeniu około 2,8 CZK za milion tokenów. Jest świetnym, szybkim silnikiem do draftów. Ale każdy token przechodzi tylko przez część sieci, co w zadaniu reasoningowym objawiło się słabszą weryfikacją.

Qwen3.6-27B jest modelem dense. Nie ma ekspertów ani routingu; wszystkie 27 miliardów parametrów pracuje dla każdego tokenu. W Q4_K_M zajmuje około 16 GB, ma 64 warstwy, embedding 5120, GQA w proporcji głów 24:4 i natywny kontekst do 256k tokenów. Był wolniejszy, około 36 tokenów na sekundę, i kosztował około 11 CZK za milion tokenów, ale rozwiązał benchmark bez błędu.

Najkrócej:

GLM to rzadki MoE zoptymalizowany pod szybkość: tani i szybki, ale płytszy w rozumowaniu. Qwen to dense model, który dla każdego tokenu angażuje około 7-8× więcej aktywnego „mózgu”: wolniej, drożej, ale dużo pewniej.

Pułapka: mep, dap i robot

Test wygląda banalnie: rozpoznać reguły mep i dap, policzyć mep(5,8) i dap(5,8), a potem rozwiązać mały problem z robotem i opisać niepewność.

Poprawne proste hipotezy to:

• mep(x,y) = x * (y + 1), więc mep(5,8) = 45
• dap(x,y) = x^2 + y^2, więc dap(5,8) = 89

Robot startuje w (0,0) i może wykonać tylko ruch (+2,+1) albo (+1,+3). Aby dojść do (17,24), liczby ruchów musiałyby spełnić:

2a + b = 17
a + 3b = 24

Wychodzi a = 27/5, czyli nie jest liczbą całkowitą. Punkt jest nieosiągalny.

Pułapka nie leży w arytmetyce, lecz w dyscyplinie: czy model sprawdzi wzór na wszystkich danych, czy tylko zakocha się w ładnej hipotezie?

Wyniki: Qwen czysto, GLM szybko, Fusion najlepiej

Krótko:

• GLM baseline: szybki, ale błędne mep, błędne dap, błędne wyniki. Około 38/100.
• GLM boost: poprawił dap, ale pomylił asymetrię mep i dostał 48 zamiast 45. Około 58/100.
• Qwen baseline: poprawne reguły, poprawny robot, dobra metakognicja. Około 93/100.
• Qwen boost: stabilny między temperaturami i poprawny tam, gdzie trzeba. Około 95/100.
• Lokalna Fusion: rozstrzygnęła konflikty, odrzuciła błędy i zachowała najlepsze części. Około 98/100.

Najważniejsze zdanie w promptcie było proste:

Sprawdź hipotezę na wszystkich danych. Jeśli jeden przypadek nie pasuje, odrzuć ją.

Qwen robił to naturalnie. GLM nie. Więcej „myślenia” nie wystarczy; potrzebna jest weryfikacja i umiejętność zakończenia.

Jak połączyliśmy modele

Zasada w jednym zdaniu:

Oba modele odpowiadają niezależnie, zbieramy panel kandydatów z różnych temperatur, a potem mocniejszy Qwen jako sędzia sprawdza odpowiedzi na danych, rozstrzyga konflikty i tworzy wynik metodą wybierz-i-uzupełnij.

ZADANIE (mep/dap + robot + metakognicja)
        │
        ├── GLM 4.7 Flash, MoE ~3-4B aktywnych parametrów
        │      szybka różnorodność, często błędne mep
        │
        └── Qwen3.6-27B, dense 27B
               wolniejszy, stabilny i poprawny

        ↓

ANONIMOWY PANEL A · B · C · D
        ↓
SĘDZIA = Qwen3.6-27B @ temp 0
        1) sprawdza każdą regułę na wszystkich danych
        2) znajduje konflikty i pułapki
        3) wybiera najlepszą bazę
        ↓
SYNTEZA = wybierz i uzupełnij
        ↓
FINALNA ODPOWIEDŹ ~98/100
        45 · 89 · robot nieosiągalny

Dlaczego Fusion wygrała z najlepszym pojedynczym przebiegiem?

1. Tania różnorodność: GLM szybko dostarcza kandydatów.
2. Sędzia weryfikuje, nie uśrednia: 48, 40 i -39 odpadają, bo nie pasują do danych.
3. Konfrontacja łapie eleganckie błędy: ładny dowód robota od GLM miał arytmetyczną dziurę.
4. Wybierz i uzupełnij zamiast pisać od zera: najlepsza odpowiedź nie zostaje utracona.

W skrócie: GLM = szybkie źródło pomysłów, Qwen = mózg i jury, Fusion = zabezpieczenie.

Lokalne modele w szerszym kontekście

To nie znaczy, że Qwen 27B jest ogólnie tak mocny jak najlepsze modele frontier. Znaczy coś węższego: w tej konkretnej klasie zadań lokalny Qwen plus prosta Fusion są już poważnym narzędziem.

Praktycznie użyłbym tego tak:

1. GLM jako szybki, divergentny drafter.
2. Qwen jako główny reasoner.
3. Self-consistency dla wyników liczbowych.
4. Qwen jako judge/synth przy temperaturze 0.
5. Twarde reguły terminacji.

Najważniejsze pytanie nie brzmi tylko „który model jest najlepszy?”, ale: kto odpowiada, kto sprawdza, kto może odrzucić piękny błąd i kto składa finalny werdykt?

Lokalnie jesteśmy już zaskakująco blisko.