Když superpočítač počítá AI a zároveň topí městu

Ve finském městě Kajaani stojí jeden z nejzajímavějších evropských superpočítačů. Jmenuje se LUMI, je součástí evropské infrastruktury EuroHPC a provozuje ho CSC - IT Center for Science. LUMI je systém HPE Cray EX se zhruba 380 petaflops udržitelného výkonu v benchmarku HPL.

Na LUMI mě fascinuje, že to není jen obrovská výpočetní hala někde na severu Evropy. Je to i velmi konkrétní příklad toho, jak může vypadat udržitelnější supercomputing. LUMI běží na obnovitelné energii a jeho odpadní teplo se využívá v dálkovém vytápění města Kajaani.

To je skoro poetické: superpočítač počítá klimatické modely, vědecké simulace nebo umělou inteligenci, a teplo z těchto výpočtů se pak vrací zpátky do města. Ne jako odpad, ale jako užitečná energie.

A právě na tomto stroji jsem teď rozběhl první testy svého projektu.

Česká brána k evropské AI infrastruktuře

Tady chci poděkovat Jakubu Siwkovi z Národního superpočítačového centra v Ostravě. Když se mě zeptal, jestli bych nepotřeboval nějaký výpočetní výkon, nadšeně jsem souhlasil. Za pár dní jsem měl schválený svůj první výpočetní grant na LUMI: 5 000 GPU hodin.

Právě tohle je podle mě důležité říct nahlas. IT4Innovations National Supercomputing Center není jen centrum s velkým počítačem. Je to česká brána k evropské špičkové výpočetní infrastruktuře. Díky LUMI AI Factory se i české firmy, výzkumníci a inovátoři mohou dostat k výpočetnímu času na GPU a CPU. Pro projekty v umělé inteligenci to může být rozdíl mezi tím, jestli člověk o velkých modelech jen mluví, nebo je skutečně systematicky měří, testuje a porovnává.

Fáze 0: funguje celý řetězec?

V první fázi mi nešlo o velký průlom. Cíl byl mnohem prostší: dostanu se na stroj, spustím GPU job, poběží PyTorch, stáhnu model, rozběhnu první inference a ověřím, že vLLM zvládne dávkové zpracování promptů?

Jinými slovy: funguje celý řetězec od notebooku až po první token z GPU?

Funguje.

První malý jazykový model, Qwen2.5-1.5B-Instruct, jsem stáhl na scratch úložiště rychlostí 5,3 GB za 18 sekund, tedy zhruba 300 MB/s. Pro člověka zvyklého na domácí internet je to docela příjemný začátek. Model jsem potom spustil na jednom GCD MI250X a začal mu pokládat jednoduché i trochu záludnější otázky. Třeba: „Jaký je smysl života?“ nebo „Co si myslíš o IT4Innovations National Supercomputing Center a superpočítači LUMI?“

Výsledky byly přesně tak zajímavé, jak jsem doufal. Model někdy odpovídal hezky, někdy česky, někdy anglicky a někdy sebevědomě halucinoval. U otázky na IT4Innovations a LUMI si například vymýšlel umístění, souvislosti i fakta.

To není chyba experimentu. To je přesně typ chování, který chci v projektu systematicky měřit: kdy malý model stačí, kdy už nestačí, kdy začne halucinovat a kdy má smysl výpočet eskalovat na větší model nebo na fúzi více modelů.

Jeden prompt nestačí. Tisíce promptů ano.

Samotný výkon při jednom dotazu vypadal skromně: přibližně 44 tokenů za sekundu. To je použitelné, ale pro superpočítač to není nic dramatického. Jeden dotaz kartu prostě nedokáže pořádně zaměstnat.

Zlom přišel až ve chvíli, kdy jsem použil vLLM a pustil 48 dotazů najednou. Najednou se ukázalo, proč je tahle infrastruktura pro evaluační sady tak zajímavá. Při batchi 48 jsem dosáhl 2 255,7 tokenu za sekundu agregovaně, tedy zhruba 51x vyšší propustnosti oproti samostatnému dotazu. Přitom jednotlivý prompt si pořád držel podobnou rychlost.

Prakticky řečeno: evaluační sada o 1 000 promptech by na takto malém modelu a jednom GCD proběhla přibližně za minutu a půl.

Celé první ověření mě stálo jen přibližně 0,1 GPU hodiny z přidělených 5 000. Jinými slovy: první funkční AI experiment na jednom z nejvýkonnějších evropských superpočítačů zabral naprosto zanedbatelný zlomek alokace.

Proč je to důležité

Hlavní ponaučení první fáze je jednoduché. Jeden dotaz superpočítač nevyužije. Tisíce dotazů už ano.

Pokud chceme seriózně měřit kvalitu jazykových modelů, porovnávat malé a velké modely, testovat fúzi více odpovědí nebo zkoumat, kdy se vyplatí eskalovat na dražší model, právě taková infrastruktura dává obrovský smysl. Ne kvůli jednomu hezkému demu. Kvůli opakovatelným evaluačním sadám, robustnímu logování, detekci tichých selhání, kalibraci evaluátora a měření kvality vůči skutečné výpočetní ceně.

Fáze 0 tedy nebyla o tom, že bych vyřešil hlavní výzkumnou otázku. Byla o tom, že se podařilo rozchodit základní stroj: přístup, kontejnery, PyTorch, první model, první odpovědi, první halucinace, první měření a hlavně první důkaz, že dávkové zpracování promptů mění ekonomiku celého projektu.

A je na tom něco hezkého. Zatímco já se snažím zjistit, kdy malý model stačí a kdy je lepší použít silnější model nebo fúzi více modelů, někde ve finském Kajaani se odpadní teplo z podobných výpočtů vrací zpátky do města.

Umělá inteligence tak nemusí být jen abstraktní cloud někde „tam“. Někdy je to úplně konkrétní stroj, v konkrétním městě, s konkrétní elektřinou, konkrétním teplem, konkrétní českou podporou z Ostravy a konkrétními prvními pokusy, které začínají otázkou:

„Jaký je smysl života?“