20 + 5 = 29. Overené. Z Černá AI cez LUMI až ku kvantovému vlkovi

Dvadsať plus päť je dvadsaťpäť. Na tom sa snáď zhodneme.

Jeden z modelov v mojom experimente to spočítal aj správne. A vzápätí vyhlásil, že výsledok zodpovedá požadovanej hodnote 29. Kontrola hotová. Všetko sedí.

S touto historkou som 15. septembra prišiel do ostravského Gongu na CERNA.AI festival. Je celkom vtipná, pokiaľ si neuvedomíte, ako často podobnému uisteniu veríme. AI napíše „overené“ a človek má chuť ísť ďalej. Lenže čo vlastne overila?

Moja cesta k tejto otázke viedla cez porotu jazykových modelov, fínsky superpočítač LUMI a nakoniec aj český kvantový počítač VLQ. A niekde medzi tým bolo potrebné postrážiť aj skutočného vlka.

Ostrava ukázala, že vie AI vo veľkom

Už na Instagram som napísal, že Ostrava predviedla, že vie akciu pre dvetisíc ľudí. Oficiálny web festivalu uvádza dokonca 2 200 účastníkov, 101 AI expertov, sedem scén a 24 workshopov. Černá AI tak patrí k najväčším tuzemským stretnutiam okolo umelej inteligencie; organizátori ju predstavujú ako najväčšiu AI akciu v Česku.

Zaplnený Gong počas festivalu CERNA.AI v Ostrave.

Za festivalom stojí Černá kostka, príspevková organizácia Moravskosliezskeho kraja, a jej platforma ČERNÁ.AI. Gong v Dolných Vítkoviciach tomu navyše pristane. Preberať budúcnosť technológií uprostred ostravskej priemyselnej histórie má svoje čaro.

V programe bolo z čoho vyberať. Jan Romportl mal tému etickej AI a jej zavádzanie do firemnej kultúry. Ivan Kutil sa venoval práci AI agentov v prostredí Google Antigravity. A Per Öster z CSC hovoril o európskych AI factories. To posledné je mi vďaka skúsenosti s LUMI obzvlášť blízke.

Popri technických prednáškach ponúkal program témy zo zdravotníctva, vzdelávania, firiem i kreatívnej tvorby. K tomu expo zóna a kultúrny program vrátane Tata Bojs. Páči sa mi, že sa na jednej akcii môžu stretnúť vývojári s ľuďmi, ktorí budú ich nástroje používať. Také rozhovory bývajú potrebné.

Atmosféru festivalu zachytáva aj verejná fotogaléria usporiadateľov ČERNÁ.AI a Černá kostka. Jednotlivé snímky môžete prechádzať šípkami:

Moja keynote na Černá stage

V oficiálnom programe bolo moje vystúpenie zaradené ako keynote v tematickej línii AI technológie. Na Černá stage od 12:30 do 12:42 som hovoril pod názvom „25 = 29. Overené.“ Čo robí AI, keď si má skontrolovať vlastnú prácu.

Do dvanástich minút sa celá cesta nezmestí. Tu ju preto môžem trochu rozbaliť.

V Hyperprostore vyvíjam HyperFusion, fúziu odpovedí niekoľkých modelov. Predstavte si porotu expertov. Každý dostane rovnaký problém a samostatne pripraví riešenie. Ďalší model potom dostane úlohu sudcu: porovná návrhy, vezme dobrý nápad od jedného, doplní ho postrehom druhého a chybu tretieho zahodí. Modely pritom zostávajú samostatné, skladám dohromady ich odpovede.

Štyri dni s Fable a potom absťák

Jedným z dôvodov, prečo som sa do fúzie pustil, bol Fable 5. Mali sme ho k dispozícii štyri dni. Stačilo to, aby sme si naň poriadne zvykli, a potom sme k nemu na dlhší čas stratili prístup. Kto ho zažil, možno mi rozumie. S trochou zveličenia sme mali absťák.

Práve vtedy sa hodila možnosť spojiť ostatné silné modely. V mojich vtedajších testoch sa ich fúzia dokázala dostať na porovnateľnú úroveň ako Fable. A v ďalších pokusoch sa mi podarilo získať výsledky porovnateľné s Opusom približne za polovicu nákladov. To už je popri kvalite aj celkom praktický dôvod, prečo sa kombinovaním modelov zaoberať.

Záleží samozrejme na úlohe a zostave modelov. Niekedy sa ďalšie odpovede oplatia, inokedy je lepšie nechať pracovať jeden model. Podrobnejšie som o tom písal v článku HyperFusion: liek na stratu Fable 5.

Znie to rozumne. Keď sa jeden pomýli, iný ho opraví. Lenže funguje to aj v praxi? Neopisujú od seba? A dokáže sudca chybu naozaj nájsť, alebo len vyberie odpoveď, ktorá najlepšie znie? To som chcel zmerať.

Mám superpočítač. Dokážem ho použiť?

Na takéto pokusy sa hodí veľa pamäte a výpočtového výkonu. Zvlášť keď chcete porovnávať veľké otvorené modely, skúšať ich komprimované varianty a nechať ich riešiť celé série úloh. To mi umožnilo LUMI vo fínskom Kajaani.

Lenže prístup k veľkému stroju ešte neznamená, že na ňom viete pracovať.

Bol som zvyknutý na grafické karty NVIDIA a prostredie CUDA. LUMI-G používa akcelerátory AMD MI250X. Jeden jeho uzol ponúka štyri fyzické akcelerátory a dohromady 512 GB rýchlej pamäte HBM. Výkonu dosť. Otázka bola, ako na ňom rozbehnúť moje experimenty.

Z doby okolo roku 2017 si dobre pamätám, koľko času dokázalo prehltnúť samotné sprevádzkovanie jazykového modelu na GPU. Python, ovládače, knižnice a verzie, ktoré spolu odmietali hovoriť. Ekosystém sa od tej doby výrazne posunul, ale superpočítač stále vie pripomenúť, že softvér nie je len tlačidlo „Spustiť“.

V jednom experimente som načítal 435GB komprimovaný variant modelu GLM-5.2. Po štyridsiatich minútach sa zdalo, že sa nič nedeje. Nakoniec pomohol jediný prepínač, --no-mmap, ktorý zmenil spôsob načítania z paralelného úložiska. Približne za päť minút bol model pripravený.

Na slide potom máte obrovský model na superpočítači. Tú dobu strávenú hľadaním jedného prepínača už na ňom nikto nevidí.

Na LUMI som v týchto pokusoch spúšťal už hotové modely pre inferenciu a testoval ich odpovede. Porovnával som okrem iného otvorené modely z rodín Qwen a GLM. Uzavreté modely dostupné cez API do poroty tiež zapájať môžem, ich váhy si ale na vlastný stroj stiahnuť nemôžem.

Podrobnosti som už popísal v článku Dva dni a jedna noc na LUMI. A radosť mi urobilo, že našu prvú skúsenosť predstavila aj samotná LUMI AI Factory na svojom webe.

Pri stánku IT4Innovations a LUMI AI Factory. Na monitore za mnou sa práve premieta moja skúsenosť so superpočítačom a kvantovým počítačom VLQ.

Keď sa kontrola len tvári ako kontrola

Na prednáške som sa vrátil aj k rýchlemu experimentu, ktorý som urobil krátko po vydaní Hermes Agent. Zaujímalo ma, ako toto agentské prostredie funguje s rôznymi modelmi. Dával som im preto rôzne úlohy: zamyslieť sa nad zmyslom života, postaviť kalkulačku a podobne. Chcel som sa pozrieť, ako si s nimi jednotlivé modely poradia.

Najviac ma prekvapilo, že niektoré z najmúdrejších modelov úlohy vôbec nevypracovali samostatne. Na disku našli uložené odpovede ostatných, vzali ich a trochu upravili. Ja som čakal niekoľko vlastných riešení a namiesto toho som sledoval niečo, čo dosť pripomínalo opisovanie domácej úlohy.

Bol to rýchly prieskum nového nástroja, žiadny veľký kontrolovaný benchmark. Ukázal mi ale dôležitú vec: keď majú modely prístup k rovnakým súborom, nemôžem ich podobné odpovede automaticky považovať za nezávislú zhodu. Musím skontrolovať aj to, ako k nim prišli.

A popri opisovaní som pri svojich pokusoch narazil na tú podivnú rovnosť z úvodu. Model vo svojom kontrolnom postupe správne vypočítal 20 + 5 = 25. Potom napísal, že to zodpovedá požadovanej hodnote 29. Výpočet mal dobre, ale záver o splnení zadania bol chybný.

Preto tá provokatívna skratka „25 = 29. Overené.“

Na tom ma zaujalo, ako ľahko môže kontrola vyzerať presvedčivo, a pritom nič neskontrolovať. V texte boli všetky očakávané kroky aj upokojujúci záver. Rozpor napriek tomu zostal. Keď tomu hovorím „predstieraná kontrola“, nemyslím tým vedomé podvádzanie. Popisujem výsledok, ktorý ako poctivá kontrola len vyzeral.

V tejto konkrétnej úlohe sudca rozpor odhalil a chybné riešenie odmietol. To je dobrá správa pre myšlienku poroty. Ale rovnako dôležité sú jej limity.

Pracoval som aj s vedeckým benchmarkom GPQA Diamond. Ten je samostatnou časťou testovania. Z jednotlivých pokusov nechcem robiť záver o všetkých modeloch a všetkých úlohách. Zaujíma ma, kedy porota pomôže a kedy len spotrebuje viac výpočtového času.

Porota potrebuje pravidlá

Na prednáške som hovoril o troch problémoch, na ktoré som pri práci s modelmi narazil: opisovaní, nefunkčnej kontrole a sudcovi, ktorý sa uspokojí s prevzatím jedného návrhu.

Keď si modely počas agentskej práce prevezmú riešenie ostatných, ich zhoda už neznamená niekoľko nezávislých ciest k rovnakému výsledku. A keď sudca len skopíruje víťaza, nevyužije prípadné užitočné postrehy zo slabších odpovedí. V mojom pokuse práve veľký Qwen2.5-72B syntetizoval menej ako niektorí menší sudcovia.

Pre návrh systému z toho vychádza niekoľko praktických pravidiel:

• Najskôr samostatné riešenia. Nech sa modely nestretnú s cudzou odpoveďou skôr, než vytvoria vlastné.
• Anonymné návrhy a nezávislý sudca. Posudzovať obsah a obmedziť situácie, keď člen poroty hodnotí sám seba.
• Kontrola proti zadaniu. Nestačí, že výpočet vyzerá správne; musí skutočne splniť pôvodné podmienky.
• Kde to ide, overovať nástrojom. Súčet prepočítať, kód spustiť, výsledok porovnať so známym riešením.

Rovnaký návyk pomôže aj pri obyčajnej práci s chatbotom. Namiesto ďalšieho uistenia „áno, som si istý“ chcite vidieť podklad, výpočet alebo test, ktorý by dokázal chybu odhaliť.

A kde sa vzal kvantový vlk?

Od poroty modelov vedie prirodzená cesta k ďalšej otázke: ktoré modely do nej vôbec vybrať?

Každý má inú cenu, rýchlosť, silné stránky a typické chyby. Spustiť zakaždým všetko by bolo drahé. Potrebujem zostavu, ktorá sa dobre dopĺňa a zmestí sa do rozpočtu. A práve hľadanie takej kombinácie ma priviedlo ku kvantovému počítaniu.

V Ostrave stojí VLQ, kvantový počítač prevádzkovaný IT4Innovations pri VŠB-TUO. Má 24 fyzických supravodivých qubitov prepojených cez centrálny rezonátor. V projekte s prideleným výpočtovým časom skúmam, ako výber panelu modelov formulovať ako optimalizačnú úlohu a čo s ňou dokáže kvantovo-klasický algoritmus QAOA.

Zatiaľ skúmam, či a za akých podmienok nám to môže pomôcť. Kvantovú výhodu preukázanú nemám. Výsledky výrazne ovplyvňuje šum, dĺžka obvodu aj to, ako zadanie preložíme do operácií skutočného stroja.

Aby som týmto obmedzeniam lepšie rozumel, postavil som VLQ Lab. V prehliadači si môžete skladať obvody, prezerať ich správanie a učiť sa, prečo skutočný kvantový počítač nie je to isté, čo ideálny učebnicový obrázok. S vysvetlením pomáha aj sprievodca Alfa vlk.

VLQ Lab si môžete zadarmo vyskúšať na qlab.alphai.cz. Podrobnejší príbeh i rozdiel medzi simuláciou a experimentmi na fyzickom stroji nájdete v článku Postavil som simulátor českého kvantového počítača.

Na LUMI teda skúšam, ako si modely vedú pri riešení úloh. U VLQ hľadám cestu, ako ich zostavu vyberať. Oboje je stále práca plná pokusov, slepých uličiek i výsledkov, ktoré stoja za ďalšie skúmanie.

Príďte si to vyskúšať: Hyperprostor a VLQ Lab

Pokiaľ vás to láka skúsiť, budem rád, keď sa pozriete do našich dvoch projektov.

Vstúpte do Hyperprostoru →
Nájdete tam rôzne AI modely, digitálne osobnosti aj naše pokusy s ich spoluprácou. Prineste si vlastnú otázku, nápad alebo problém a vyskúšajte, čo vám bude pri práci vyhovovať.

Otvorte si zadarmo kvantový simulátor VLQ Lab →
Poskladajte si prvý kvantový obvod, pozrite sa, čo jednotlivé hradlá robia, a nechajte si nejasnosti vysvetliť Alfa vlkom. Začať môžete rovno v prehliadači. Simulátor je zadarmo; sprievodca a čítanie nahlas majú denné limity uvedené v aplikácii. Prístup k simulátoru je samostatný od prideľovania času na skutočnom kvantovom počítači.

Vďaka ľuďom, ktorí to umožnili

Poďakovanie od tímu ČERNÁ.AI a Černá kostka a malá spomienka od LUMI AI Factory.

Ďakujem organizátorom Černá AI za pozvanie a za všetku prácu, ktorá za takouto akciou stojí. Vďaka tiež IT4Innovations, národnému superpočítačovému centru pri VŠB-TUO, tímu LUMI a ľuďom okolo VLQ. Bez vášho zázemia a pomoci by som sa k týmto experimentom len ťažko dostal.

Zvlášť chcem poďakovať Jakubovi Siwekovi. Jakub, vďaka za pomoc a za ľudí, s ktorými ma prepájaš. Na festivale si ma zoznámil so skvelým Filipom Oborníkom a rovno padlo aj pozvanie do podcastu. Zatiaľ neformálne, bez konkrétneho termínu. Budem rád, keď na ten rozhovor nadviažeme.

S Jakubom Siwekom a Filipom Oborníkom. Aj tieto stretnutia sú dôvod, prečo má zmysel vyraziť na festival osobne.

Filip je vývojár, AI lektor a autor vzdelávacieho projektu AI s rozumem. S Jindřichom Dědkom pripravuje Deeplink Show, kde sa o AI, technológiách a biznise hovorí z pohľadu vývoja i produktov. K téme tohto článku pekne nadväzujú ich rozhovory s Matějom Novákom z IT4Innovations o superpočítačoch a s Daliborom Mrázom o ČERNÁ.AI a zavádzaní AI do praxe. Filip má tiež vlastný podcast Coffee Break s Filipem. Pokiaľ vás baví AI zasadená do konkrétnej práce a skúseností, stojí jeho tvorba za preskúmanie.

A ďakujem aj tým, ktorí mi strážili skutočného vlka. Ten v simulátore počká. Ten živý potrebuje starostlivosť aj vo chvíli, keď jeho človek na pódiu vysvetľuje, prečo dvadsaťpäť nie je dvadsaťdeväť.

Ostravo, vďaka. Za pozvanie, za stretnutie aj za chuť pustiť sa do ďalších pokusov. A až mi nabudúce model napíše „overené“, radšej sa ešte pozriem, čo tým myslí.

Chcete využiť LUMI pre vlastný projekt?

Ozvite sa českému tímu LUMI AI Factory v IT4Innovations na ai-factory@it4i.cz. Môžete s nimi prebrať svoj nápad, potrebný výpočtový výkon aj možnosti podpory. A ak sa chcete prepojiť s Jakubom, tu je Jakub Siwek na LinkedIn.