Wenn ein Supercomputer KI berechnet und zugleich eine Stadt heizt

In der finnischen Stadt Kajaani steht einer der interessantesten Supercomputer Europas. Er heißt LUMI, ist Teil der EuroHPC-Infrastruktur und wird von CSC - IT Center for Science betrieben. LUMI ist ein HPE-Cray-EX-System mit rund 380 Petaflops nachhaltiger HPL-Leistung.

Mich fasziniert an LUMI, dass es nicht nur eine riesige Rechenhalle irgendwo im Norden Europas ist. Es ist auch ein sehr konkretes Beispiel dafür, wie nachhaltigeres Supercomputing aussehen kann. LUMI läuft mit erneuerbarer Energie, und seine Abwärme wird im Fernwärmesystem der Stadt Kajaani genutzt.

Das ist fast poetisch: Ein Supercomputer berechnet Klimamodelle, wissenschaftliche Simulationen oder künstliche Intelligenz, und die Wärme aus diesen Berechnungen fließt zurück in die Stadt. Nicht als Abfall, sondern als nützliche Energie.

Genau auf dieser Maschine habe ich nun die ersten Tests meines Projekts gestartet.

Ein tschechisches Tor zur europäischen AI-Infrastruktur

An dieser Stelle möchte ich Jakub Siwek vom Nationalen Supercomputing-Zentrum in Ostrava danken. Als er mich fragte, ob ich Rechenleistung brauchen könnte, sagte ich sofort begeistert zu. Wenige Tage später war mein erster Compute-Grant auf LUMI genehmigt: 5.000 GPU-Stunden.

Das ist wichtig, laut zu sagen. Das IT4Innovations National Supercomputing Center ist nicht nur ein Zentrum mit einem großen Computer. Es ist ein tschechisches Tor zu europäischer Spitzen-Recheninfrastruktur. Dank der LUMI AI Factory können auch tschechische Unternehmen, Forschende und Innovatoren GPU- und CPU-Rechenzeit nutzen. Für AI-Projekte kann das den Unterschied ausmachen zwischen dem Reden über große Modelle und dem tatsächlichen systematischen Messen, Testen und Vergleichen.

Phase 0: funktioniert die ganze Kette?

In der ersten Phase ging es nicht um einen großen Durchbruch. Das Ziel war viel einfacher: Komme ich auf die Maschine, kann ich einen GPU-Job starten, läuft PyTorch, kann ich ein Modell herunterladen, die erste Inferenz starten und prüfen, ob vLLM Prompts im Batch verarbeiten kann?

Anders gesagt: Funktioniert die ganze Kette vom Notebook bis zum ersten Token aus der GPU?

Sie funktioniert.

Das erste kleine Sprachmodell, Qwen2.5-1.5B-Instruct, lud ich mit 5,3 GB in 18 Sekunden auf den Scratch-Speicher, also mit ungefähr 300 MB/s. Für jemanden, der Heim-Internet gewohnt ist, ist das ein angenehmer Start. Danach ließ ich das Modell auf einem MI250X-GCD laufen und stellte ihm einfache und etwas tückischere Fragen. Zum Beispiel: „Was ist der Sinn des Lebens?“ oder „Was hältst du vom IT4Innovations National Supercomputing Center und vom LUMI-Supercomputer?“

Die Ergebnisse waren genau so interessant, wie ich gehofft hatte. Manchmal antwortete das Modell schön, manchmal auf Tschechisch, manchmal auf Englisch und manchmal halluzinierte es sehr selbstbewusst. Bei der Frage zu IT4Innovations und LUMI erfand es zum Beispiel Orte, Zusammenhänge und Fakten.

Das ist kein Fehler des Experiments. Es ist genau das Verhalten, das ich im Projekt systematisch messen möchte: Wann reicht ein kleines Modell, wann reicht es nicht mehr, wann beginnt es zu halluzinieren und wann lohnt es sich, auf ein größeres Modell oder auf eine Fusion mehrerer Modelle zu eskalieren?

Ein Prompt reicht nicht. Tausende schon.

Die Leistung bei einer einzelnen Anfrage sah bescheiden aus: etwa 44 Token pro Sekunde. Das ist nutzbar, aber für einen Supercomputer nicht besonders dramatisch. Eine einzelne Anfrage kann den Beschleuniger schlicht nicht richtig auslasten.

Der Bruch kam, als ich vLLM nutzte und 48 Anfragen gleichzeitig laufen ließ. Plötzlich wurde sichtbar, warum diese Infrastruktur für Evaluationssätze so interessant ist. Bei einer Batch-Größe von 48 erreichte ich 2.255,7 Token pro Sekunde aggregiert, also ungefähr 51x mehr Durchsatz als bei einer einzelnen Anfrage. Der einzelne Prompt behielt dabei ungefähr seine Geschwindigkeit.

Praktisch heißt das: Ein Evaluationssatz mit 1.000 Prompts würde auf diesem kleinen Modell und einem GCD ungefähr anderthalb Minuten dauern.

Die gesamte erste Validierung kostete mich nur etwa 0,1 GPU-Stunden von den zugewiesenen 5.000. Anders gesagt: Das erste funktionierende AI-Experiment auf einem der leistungsfähigsten Supercomputer Europas verbrauchte nur einen vernachlässigbaren Bruchteil der Allokation.

Warum das wichtig ist

Die wichtigste Lektion der ersten Phase ist einfach. Ein einzelner Prompt nutzt keinen Supercomputer aus. Tausende Prompts tun es.

Wenn wir die Qualität von Sprachmodellen ernsthaft messen, kleine und große Modelle vergleichen, Antwortfusion testen oder untersuchen wollen, wann sich die Eskalation auf ein teureres Modell lohnt, ergibt diese Infrastruktur enorm viel Sinn. Nicht wegen einer einzelnen hübschen Demo, sondern wegen wiederholbarer Evaluationssätze, robustem Logging, der Erkennung stiller Fehler, der Kalibrierung eines Evaluators und der Messung von Qualität im Verhältnis zu realen Rechenkosten.

Phase 0 war also nicht die Lösung der zentralen Forschungsfrage. Sie war der Nachweis, dass die Grundmaschine läuft: Zugang, Container, PyTorch, erstes Modell, erste Antworten, erste Halluzinationen, erste Messungen und vor allem der erste Beleg, dass Batch-Verarbeitung von Prompts die Ökonomie des ganzen Projekts verändert.

Und daran ist etwas Schönes. Während ich herauszufinden versuche, wann ein kleines Modell genügt und wann ein stärkeres Modell oder eine Fusion mehrerer Modelle besser ist, kehrt irgendwo im finnischen Kajaani Abwärme aus ähnlichen Berechnungen zurück in die Stadt.

Künstliche Intelligenz muss also nicht nur eine abstrakte Cloud irgendwo „dort draußen“ sein. Manchmal ist sie eine sehr konkrete Maschine, in einer konkreten Stadt, mit konkretem Strom, konkreter Wärme, konkreter tschechischer Unterstützung aus Ostrava und konkreten ersten Versuchen, die mit einer Frage beginnen:

„Was ist der Sinn des Lebens?“