Keď superpočítač počíta AI a zároveň kúri mestu

Vo fínskom meste Kajaani stojí jeden z najzaujímavejších európskych superpočítačov. Volá sa LUMI, je súčasťou infraštruktúry EuroHPC a prevádzkuje ho CSC - IT Center for Science. LUMI je systém HPE Cray EX so zhruba 380 petaflops udržateľného výkonu v benchmarku HPL.

Na LUMI ma fascinuje, že nejde iba o obrovskú výpočtovú halu niekde na severe Európy. Je to aj veľmi konkrétny príklad toho, ako môže vyzerať udržateľnejší supercomputing. LUMI beží na obnoviteľnej energii a jeho odpadové teplo sa využíva v systéme diaľkového vykurovania mesta Kajaani.

Je to takmer poetické: superpočítač počíta klimatické modely, vedecké simulácie alebo umelú inteligenciu a teplo z týchto výpočtov sa vracia späť do mesta. Nie ako odpad, ale ako užitočná energia.

A práve na tomto stroji som teraz rozbehol prvé testy svojho projektu.

Česká brána k európskej AI infraštruktúre

Chcem sa poďakovať Jakubovi Siwkovi z Národného superpočítačového centra v Ostrave. Keď sa ma spýtal, či by som nepotreboval výpočtový výkon, nadšene som súhlasil. O pár dní som mal schválený svoj prvý výpočtový grant na LUMI: 5 000 GPU hodín.

Toto je podľa mňa dôležité povedať nahlas. IT4Innovations National Supercomputing Center nie je len centrum s veľkým počítačom. Je to česká brána k špičkovej európskej výpočtovej infraštruktúre. Vďaka LUMI AI Factory sa aj české firmy, výskumníci a inovátori môžu dostať k výpočtovému času na GPU a CPU. Pri projektoch umelej inteligencie to môže byť rozdiel medzi tým, či človek o veľkých modeloch iba hovorí, alebo ich skutočne systematicky meria, testuje a porovnáva.

Fáza 0: funguje celý reťazec?

V prvej fáze mi nešlo o veľký prelom. Cieľ bol jednoduchší: dostanem sa na stroj, spustím GPU job, pobeží PyTorch, stiahnem model, rozbehnem prvú inferenciu a overím, že vLLM zvládne dávkové spracovanie promptov?

Inými slovami: funguje celý reťazec od notebooku až po prvý token z GPU?

Funguje.

Prvý malý jazykový model, Qwen2.5-1.5B-Instruct, som stiahol na scratch úložisko rýchlosťou 5,3 GB za 18 sekúnd, teda približne 300 MB/s. Pre človeka zvyknutého na domáci internet je to príjemný začiatok. Model som potom spustil na jednom GCD MI250X a začal mu klásť jednoduché aj trochu záludnejšie otázky. Napríklad: „Aký je zmysel života?“ alebo „Čo si myslíš o IT4Innovations National Supercomputing Center a superpočítači LUMI?“

Výsledky boli presne také zaujímavé, ako som dúfal. Model niekedy odpovedal pekne, niekedy po česky, niekedy po anglicky a niekedy sebavedomo halucinoval. Pri otázke na IT4Innovations a LUMI si napríklad vymýšľal umiestnenie, súvislosti aj fakty.

To nie je chyba experimentu. Je to presne typ správania, ktorý chcem v projekte systematicky merať: kedy malý model stačí, kedy už nestačí, kedy začne halucinovať a kedy má zmysel eskalovať výpočet na väčší model alebo na fúziu viacerých modelov.

Jeden prompt nestačí. Tisíce promptov áno.

Samotný výkon pri jednom dotaze vyzeral skromne: približne 44 tokenov za sekundu. To je použiteľné, ale pre superpočítač to nie je nič dramatické. Jeden dotaz kartu jednoducho nedokáže poriadne zamestnať.

Zlom prišiel až vo chvíli, keď som použil vLLM a pustil 48 dotazov naraz. Vtedy sa ukázalo, prečo je táto infraštruktúra taká zaujímavá pre evaluačné sady. Pri batchi 48 som dosiahol 2 255,7 tokenu za sekundu agregovane, teda zhruba 51x vyššiu priepustnosť oproti samostatnému dotazu. Pritom jednotlivý prompt si stále držal podobnú rýchlosť.

Prakticky povedané: evaluačná sada o 1 000 promptoch by na takto malom modeli a jednom GCD prebehla približne za minútu a pol.

Celé prvé overenie ma stálo len približne 0,1 GPU hodiny z pridelených 5 000. Prvý funkčný AI experiment na jednom z najvýkonnejších európskych superpočítačov teda zabral zanedbateľný zlomok alokácie.

Prečo je to dôležité

Hlavné ponaučenie prvej fázy je jednoduché. Jeden dotaz superpočítač nevyužije. Tisíce dotazov už áno.

Ak chceme seriózne merať kvalitu jazykových modelov, porovnávať malé a veľké modely, testovať fúziu viacerých odpovedí alebo skúmať, kedy sa oplatí eskalovať na drahší model, práve takáto infraštruktúra dáva obrovský zmysel. Nie kvôli jednému peknému demu, ale kvôli opakovateľným evaluačným sadám, robustnému logovaniu, detekcii tichých zlyhaní, kalibrácii evaluátora a meraniu kvality voči skutočnej výpočtovej cene.

Fáza 0 teda nebola o tom, že by som vyriešil hlavnú výskumnú otázku. Bola o tom, že sa podarilo rozchodiť základný stroj: prístup, kontajnery, PyTorch, prvý model, prvé odpovede, prvé halucinácie, prvé merania a hlavne prvý dôkaz, že dávkové spracovanie promptov mení ekonomiku celého projektu.

A je na tom niečo pekné. Zatiaľ čo ja sa snažím zistiť, kedy malý model stačí a kedy je lepšie použiť silnejší model alebo fúziu viacerých modelov, niekde vo fínskom Kajaani sa odpadové teplo z podobných výpočtov vracia späť do mesta.

Umelá inteligencia tak nemusí byť len abstraktný cloud niekde „tam“. Niekedy je to úplne konkrétny stroj, v konkrétnom meste, s konkrétnou elektrinou, konkrétnym teplom, konkrétnou českou podporou z Ostravy a konkrétnymi prvými pokusmi, ktoré sa začínajú otázkou:

„Aký je zmysel života?“