Powrót do bloga
·Jan Tyl·24 min czytania

Stworzyłem 300 krasnali z duszą Prażan: rekord 264 081 tok/s i 719,6 osób/s, wyższa jakość spowalnia do 45 tysięcy

Stworzyłem 300 unikalnych wirtualnych Prażan w naturalnym czeskim z szybkością 45 192 tok/s (gotowe w 17,34 s). Gdy potem zmieniłem architekturę wywołań i gnałem za czystym sufitem szybkości i ceny, rozpędziłem rój do 264 081 tokenów na sekundę, stworzyłem 719,6 nowych Prażan na sekundę (742,0 zapytanych na sekundę) i zbiłem cenę do 0,31 Kč za tysiąc osób.

Stworzyłem 300 krasnali z duszą Prażan: rekord 264 081 tok/s i 719,6 osób/s, wyższa jakość spowalnia do 45 tysięcy

Wyobraź sobie, że zamiast jednego wielkiego doradcy AI masz w drewnianym pudle na biurku 300 maleńkich cyfrowych krasnali. Każdy ma własny ołówek, własne mieszkanie w innej praskiej dzielnicy, własny pasek wypłaty i własny powód, dla którego rano klnie w tramwaju albo w korku na Jižní spojce. Kiedy zażądaliśmy od nich naprawdę ładnego, naturalnego czeskiego i rozumowania na poziomie dużych modeli typu GPT, rozbiegły się po biurku z szybkością 45 192 tokenów na sekundę i wszystkie 300 ankiet wypełniły w 17,34 sekundy bez jednego błędu. Gdy jednak zaraz potem przebudowaliśmy samą architekturę wywołań i gnaliśmy za czystym sufitem szybkości i ceny, rozpędziliśmy rój aż do 264 081 tokenów na sekundę, potrafiliśmy stworzyć 719,6 nowych Prażan na sekundę (a zapytać ich 742,0 na sekundę) i zbiliśmy cenę aż do 0,31 Kč za tysiąc osób.

Jedno drugiego przy tym nie wyklucza, tylko za jakość płaci się inną monetą. Im bardziej naturalnego czeskiego, głębszego namysłu i dokładniejszego kontekstu zbliżonego do dużych flagowych modeli wymagasz, tym wyraźniej realny przepływ tokenów zwalnia. Wszystkie konkretne nazwy modeli i dostawców zostawiamy w kuchni, poniżej znajdziesz dokładne liczby, ślepe uliczki i pięć architektonicznych zabiegów, które o nich zdecydowały.

Dokładnie to sprawdziliśmy, projektując Zespoły robocze w Hyperprostorze. Chcieliśmy, żeby każdy dokument, budżet czy prezentację przed oddaniem przeczytało kilka sztucznych osobowości w roli odbiorców i powiedziało, gdzie się pogubiły. Ze strachu o rachunek i szybkość ostrożnie ograniczyliśmy jednak w pierwotnej specyfikacji publiczność do 3–5 czytelników, a współbieżność do 4 kroków.

Potem pod maską Hyperprostoru przetestowaliśmy cichego pracusia w dokładnie tej samej cenie co GPT Luna (dziesięć centów za milion tokenów wejściowych i pięćdziesiąt centów za milion wyjściowych, czyli mniej więcej 2,30 Kč i 11,50 Kč), który jednak w niezależnym zestawieniu Artificial Analysis Intelligence Index zbiera około 36 punktów wobec 27–28 punktów u GPT Luna (a w agentowym AutomationBench mniej więcej 37,8 % wobec 20,2 %). Jego dokładną nazwę zostawiamy w kuchni. Interesowała nas jedna rzecz: ilu takich krasnali interfejs utrzyma w jednej chwili bez jednego błędu 429 i czy z nich spadają użyteczne myśli, czy tylko drogi szum?

Krótka filmowa wizja całego eksperymentu (włącz dźwięk): wszystkie 300 krasnali przed laptopem skrobie jednocześnie ołówkiem ankietę, aż jeden z nich głośno westchnie: „Na Vinohradach płacę majlant za pudło.”

300 okienek na jednym ekranie

Wyskryptowana symulacja według dokładnych milisekundowych logów wszystkich 300 równoległych wątków (P001 do P300) obok siebie w siatce 20 × 15 na jednym ekranie. Najechanie myszą rozwija lupę na żywo pod ścianą, a kliknięcie otwiera pełną kartę i reakcję Prażanina.

Żeby krasnale nie pisały pustych frazesów, dostały prawdziwe czterokrokowe zadanie:

  1. Stworzenie 300 unikalnych Prażan (P001 do P300): stratyfikowanych tak, żeby osób z wyższym wykształceniem było dokładnie 37 % (111 z 300), mediana wieku wyszła 39 lat (od 18 do 84 lat), a dochód netto od 8 000 Kč do 135 000 Kč (mediana 42 000 Kč). Od rzeźnika z hali targowej w Holešovicach, kostiumografki z Barrandova, maszynisty metra linii C i niewidomego stroiciela fortepianów po ukraińską pielęgniarkę w Krči, emerytowanego zegarmistrza czy twórcę gier z Karlína.
  2. 300 krasnali jednocześnie wypełniło Ankietę Prażanina 2026 (gotowe w 17 sekund): wszystkie 300 osobowości wystartowało w jednej chwili (Promise.all). Cała gromada była gotowa w 17 sekund (dokładnie 17,34 s), wszystkie 300 z 300 zwróciło poprawny JSON za pierwszym razem bez jednego błędu 429, z szybkością ponad 45 000 tokenów na sekundę (45 192 tok/s) i za zaledwie 9,47 Kč.
  3. 300 czytelników przeprowadziło test naszego produktu w dwóch rundach: najpierw każdy z 300 Prażan samodzielnie ocenił projekt Zespołów roboczych w Hyperprostorze z hamulcem namysłu effort = "low" (8,91 s, 35 460 tok/s, czysty widoczny tekst 10 387 tok/s, koszt 4,39 Kč). Potem podzieliliśmy ich na sześćdziesiąt pięcioosobowych stołów w knajpie, przy których każdy widział zastrzeżenia czterech sąsiadów (7,09 s, 33 640 tok/s).
  4. Drabinka obciążeniowa od 1 do 300 równoległych wątków: każde wywołanie niosło unikalne ID, żeby nie dało się oszukiwać z cache, a każda fala mierzyła płynność odpowiedzi aż do granicy trzech setek równoległych modeli.

Widok z góry na 300 maleńkich krasnali w kolorowych czapkach, ustawionych w dwunastu kwadratach po dwadzieścia pięć na drewnianym stole przed laptopem, każdy wypełnia swoją papierową ankietę.

Widok z góry na wszystkie 300 krasnali ustawionych na stole przed laptopem (12 bloków po 5 × 5 skrybów = dokładnie 300 równoległych ankiet w jednej chwili).

Ponad 45 000 tokenów na sekundę: 300 Prażan gotowych w 17 sekund

Kiedy do wszystkich 300 wątków naraz weszli żywi wirtualni Prażanie z pełnymi życiorysami i otwartym pytaniem, łączna wydajność gromady wzleciała ponad 45 000 tokenów na sekundę (45 192 tok/s), a cała trzysetka była gotowa w 17 sekund (17,34 s, 783 544 tokenów wyjściowych za 9,47 Kč). Także w osobnej, syntetycznej drabince obciążeniowej z krótkim technicznym promptem interfejs skalował się od jednego okna aż do C = 300 bez jednego błędu 429 w tempie 31 876 tok/s (23,94 s, 9,00 Kč).

WspółbieżnośćPowodzenieCzas całej faliMediana (p50)95. percentyl (p95)Wydajność gromadyWidoczny tekstKoszt fali
1 okno1 / 1 (100 %)6,83 s6,83 s6,83 s468 tok/s33 tok/s0,04 Kč
10 okien10 / 10 (100 %)8,79 s5,57 s8,65 s2 615 tok/s237 tok/s0,27 Kč
50 okien50 / 50 (100 %)16,44 s6,58 s10,84 s7 873 tok/s654 tok/s1,51 Kč
100 okien100 / 100 (100 %)19,39 s6,86 s11,46 s13 519 tok/s1 111 tok/s3,06 Kč
150 okien150 / 150 (100 %)14,91 s7,35 s10,69 s23 915 tok/s2 150 tok/s4,17 Kč
200 okien200 / 200 (100 %)22,18 s8,12 s12,11 s23 031 tok/s1 926 tok/s5,96 Kč
300 okien (drabinka)299 / 300 (99,7 %)23,94 s9,18 s13,96 s31 876 tok/s2 685 tok/s9,00 Kč
300 Prażan (Ankieta)300 / 300 (100 %)17,34 s~8,5 s~13,2 s45 192 tok/s4 062 tok/s9,47 Kč
300 Prażan (effort="low")300 / 300 (100 %)8,91 s~5,1 s~7,6 s35 460 tok/s10 387 tok/s4,39 Kč
Szybkość roju do 300 krasnali: ponad 45 000 tok/s i gotowe w 17 sTryb domyślny spala 91,0 % objętości na wewnętrzne rozmyślania; hamulec effort="low" przyspiesza czysty widoczny tekst do 10 387 tok/s.wszystkie wygenerowane tokeny (wewnętrzne rozważania + JSON)czysty widoczny tekst dla użytkownikaC = 1 (6,8 s)468 tok/sC = 10 (8,8 s)2 615 tok/sC = 50 (16,4 s)7 873 tok/sC = 100 (19,4 s)13 519 tok/sC = 200 (22,2 s)23 031 tok/sC = 300 drabinka (23,9 s)31 876 tok/sC = 300 Prażanie (17,3 s)45 192C = 300 effort="low" (8,9 s)35 460 (tekst: 10 387!)

Pod pokrywką tej olbrzymiej szybkości kryje się jednak ważny szczegół inżynieryjny:

  1. Każdy krasnal dziewięć dziesiątych czasu mruczy sobie pod nosem: W domyślnej fali 300 Prażan z łącznych 783 544 tokenów aż 91,0 % (713 109 tokenów) przypadło na niewidoczne wewnętrzne rozważania, a tylko 4 062 tok/s stanowił sam wyjściowy JSON.
  2. Dlaczego odpadł jedyny biegacz z drabinki (i dlaczego z zapasem przeżyło wszystkie 300 Prażan): W pierwszej drabince C = 300 (limit 8 192 tokenów) wątek #096 zapętlił się w rozważaniach na 8 190 z 8 192 tokenów i zwrócił pusty JSON przy HTTP 200. Gdy tylko podnieśliśmy zapas do 10 240 tokenów, przeszło 300 z 300 Prażan czysto za pierwszym razem.
  3. Magiczny hamulec effort = "low": Kiedy tych samych 300 krasnali puściliśmy do oceny Hyperprostoru z reasoning: { effort: "low" }, udział rozważań spadł do 70,7 %, cała fala trzech setek agentów skończyła w 8,91 s, widoczny wynik wyskoczył do 10 387 tokenów na sekundę, a koszt spadł poniżej połowy (4,39 Kč za 300 czytelników).

Dwaj skrybowie przy biurkach w nocnym świetle: lewy ma odchyloną głowę pełną olbrzymiego, splątanego obłoku atramentowych spiral nad jedną karteczką, prawy przekręca mosiężny kluczyk przy małym, schludnym obłoczku, a przed nim leży cały wachlarz zapisanych kart z czerwoną nicią. Czarny kocur Pixlík ciekawie szturcha przerośnięty obłok po lewej.

Warto okiełznać wewnętrzne mruczenie: tryb domyślny spala ponad 90 % wydajności na wewnętrzne pętle (po lewej), a prosty hamulec effort="low" zbija czas do 8,9 sekundy, a rachunek o połowę (po prawej).

Czy odpowiedzi oszczędnego roju mają ręce i nogi?

Szybkość za darmo byłaby do niczego, gdyby z trzech setek okien spadały bzdury. Kiedy jednak ustawiliśmy wszystkich 300 Prażan według tego, jak podróżują po mieście, i zapytaliśmy o propozycję opłaty 100 Kč dziennie za wjazd samochodem do szerszego centrum w zamian za wzmocnioną komunikację miejską, wynik utrzymał zaskakująco ostrą logikę ekonomiczną:

Transport respondentaLiczba PrażanZa opłatąPrzeciw opłacieNiezdecydowany
Tylko komunikacja miejska14313346
Kombinacja / pieszo / rower8068111
Tylko samochód770770
Razem próba300201927

Wszystkich siedemdziesięciu siedmiu wyłącznych kierowców zagłosowało 0 : 77 przeciw, a pasażerowie komunikacji miejskiej 133 : 4 za (a nieliczni niezdecydowani wnieśli całkowicie racjonalną wątpliwość, że nie wierzą magistratowi w kierowanie zebranych pieniędzy z powrotem do połączeń).

Jeszcze cenniejszy był test naszej własnej propozycji Zespołów roboczych w Hyperprostorze na wszystkich 300 profilach (ocena ogólna 3,34 → 3,47, gotowość wypróbowania za jednorazowe 50 Kč 59,0 % → 47,3 %):

  • IT i zarządzanie (n = 29): ocena 2,83 → 2,83, gotowość wypróbowania za 50 Kč 96,6 % → 96,6 %.
  • Samozatrudnieni i małe firmy (n = 61): ocena 3,03 → 3,21, gotowość wypróbowania za 50 Kč 86,9 % → 68,9 %.
  • Nauczyciele i wykładowcy (n = 21): ocena 3,05 → 3,24, gotowość wypróbowania za 50 Kč 85,7 % → 76,2 %.
  • Studenci (n = 18): ocena 3,11 → 3,33, gotowość wypróbowania za 50 Kč 77,8 % → 61,1 %.
  • Administracja publiczna, ochrona zdrowia i kultura (n = 50): ocena 3,22 → 3,44, gotowość wypróbowania za 50 Kč 64 % → 46 %.
  • Zawody robotnicze i operacyjne (n = 99): ocena 3,67 → 3,77, gotowość wypróbowania za 50 Kč 31,3 % → 21,2 %.
  • Seniorzy (n = 22): ocena 4,09 → 4,09, gotowość wypróbowania za 50 Kč 4,5 % → 4,5 %.

Posłuchaj ośmiu konkretnych głosów z całych trzech setek:

  • Ondřej Marek (P013, 28 lat, programista IT, Vršovice, 68 000 Kč): „Przy limicie 80 % przestanie to jednak poprawiać, więc ryzykuję niedoróbkę, którą potem i tak będę musiał całą przepisywać. A przy materiałach roboczych musiałbym się też zastanawiać nad zaufaniem i prywatnością - co system z tym zrobi, kto odpowiada za błędy.” (Ocena 2 → 2, 50 Kč: TAK; niejasne: Role takie jak Składacz i Grafik wydają mi się niepotrzebnie przesadzone, a „kontroler z innej rodziny modeli” brzmi głównie jak marketing. I nie jest dla mnie jasne, co się stanie, jeśli 50 Kč na porządny dokument po prostu nie wystarczy - to wydaje mi się głównym haczykiem.)
  • Hana Kučerová (P021, 36 lat, nauczycielka szkoły podstawowej, Prosek, 45 000 Kč): „Nawet gdyby to kosztowało 50 Kč, i tak będę musiała wszystko sprawdzić, czy jest poprawne po czesku i zgodne z tym, czego uczymy, a na to po wieczorze z dziećmi nie mam ani czasu, ani nerwów. A przy dzieciach nie mogę sobie pozwolić na błąd.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Gubię się w tych nazwach ról - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli, test przed publicznością. Dla mnie to za dużo skomplikowanych słów jak na to, że chcę po prostu prosty dokument bez papierologii.)
  • Bohuslav Křepela (P255, 58 lat, niewidomy stroiciel fortepianów, Vinohrady, 36 000 Kč): „Skąd mam wiedzieć, że gotowy PDF albo prezentacja są poprawne, skoro ich nie widzę? A że nie ma tam wymyślonych cen ani błędów w strojeniu, tego mi żaden kontroler z innej rodziny modeli sam z siebie nie zagwarantuje.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Zgubiłem się w tablicy, przebiegu na żywo, grafiku i składaczu. Jako niewidomy potrzebuję rzeczy przede wszystkim słyszeć i obsługiwać klawiaturą lub głosem, a nie klikać po obrazkach i patrzeć, jak to wygląda.)
  • Ctirad Malina (P101, 52 lata, rzeźnik w hali targowej w Holešovicach, Holešovice, 48 000 Kč): „Kto mi zagwarantuje, że nie wymyśli liczb o kosztach remontu i energii? I tak będę musiał przeliczyć sam, a jeszcze nie wiem, dokąd trafiają moje dane, urzędom bym tego tak po prostu nie powierzył.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Te role - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli i test przed publicznością - to dla mnie czarna magia. Ja potrzebuję wiedzieć tylko, ile to kosztuje, jak długo trwa i czy się zgadza.)
  • Radim Závodný (P122, 34 lata, strażak z Holešovic, Holešovice, 52 000 Kč): „Głównym problemem jest zaufanie. AI spokojnie wymyśli głupotę, a ja i tak będę to musiał sprawdzać po 24-godzinnym dyżurze, inaczej zarobię kłopoty. I naprawdę nie chcę przy tym siedzieć przy komputerze, wolę napisać to sam.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Składacz, Kontroler z innej rodziny modeli, test przed publicznością - to dla mnie marketingowe gadanie. Nie rozumiem, po co mi sześć różnych AI, skoro chcę napisać tylko jedno pismo.)
  • Oksana Melnyk (P227, 39 lat, pielęgniarka w szpitalu Thomayera, Krč, 48 000 Kč): „Boję się, że napisze to źle po czesku albo wymyśli bzdurę, a urząd tego nie uzna, a ja będę musiała temu wierzyć, chociaż tego nie rozumiem. W szpitalu nigdy nie powierzyłabym temu żadnego papieru o pacjentach.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Te role Kierownik, Składacz, Kontroler z innej rodziny modeli i test przed publicznością - to mi nic nie mówi, brzmi jak dla informatyków i jest dla mnie niepotrzebnie skomplikowane.)
  • Klára Sedláčková (P036, 34 lata, właścicielka małego e-sklepu, Vysočany, 85 000 Kč): „Najbardziej boję się, że wymyśli bzdury o cenach, VAT-cie, przewoźnikach albo terminach w e-sklepie, a ja i tak będę potem w domu całą noc to sprawdzać, zanim wyślę klientowi. Zaoszczędzi mi to czas tylko wtedy, gdy będzie pasować do czeskich realiów, a nie tylko ogólnie ładnie brzmieć.” (Ocena 2 → 2, 50 Kč: TAK; niejasne: Kontroler z innej rodziny modeli i ten test przed publicznością - to brzmi jak bardzo specjalistyczne marketingowe opakowanie, nie wiem, co mam sobie pod tym realnie wyobrazić.)
  • Oldřich Pospíšil (P171, 81 lat, emerytowany zegarmistrz, Košíře, 21 000 Kč): „Główna wątpliwość jest taka, że musiałbym mieć do tego komputer i czytać to małymi literkami, a na oczy już bardzo nie widzę. A wyrzucić 50 koron za papier, o którym nie wiem, kto go pisał i czy jest w nim prawda, to dla mnie nie ma sensu, to mi córka napisze list na papierze.” (Ocena 5 → 5, 50 Kč: NIE; niejasne: Zgubiłem się od razu przy tych rolach - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli. PowerPoint, Excel, tablica, test przed publicznością - to dla mnie obce słowa, ja pracuję rękami przy stole, nie w aplikacji.)

Za niecałe dziewięć sekund i cztery korony czterdzieści halerzy 300 cyfrowych krasnali rozbiło nam pięć ślepych punktów założeń, zanim dotknęliśmy kodu:

  1. 80-procentowy hamulec budżetu działa jak groźba niedoróbki (programiści IT i rzemieślnicy spodziewają się, że zapłacą za półprodukt, który będą pół dnia poprawiać).
  2. Nazwy Składacz i Kontroler z innej rodziny modeli mylą ponad 85 % respondentów niezależnie od wykształcenia.
  3. Tablica sześciu osobowości zniechęca zmęczonych po zmianie użytkowników, którzy chcą jednego wyniku bez zarządzania minizespołem.
  4. Asymetria odpowiedzialności: wpadkę przed klientem, szefem czy urzędem zawsze poniesie człowiek swoim podpisem.
  5. Niewidomy stroiciel fortepianów (P255) natychmiast wyciągnął ślepą plamę dostępności: kto nie może obejrzeć PDF-a ani prezentacji oczami, nie jest w stanie ocenić wizualnej „tablicy” ani wyniku bez głosowego i tekstowego podglądu.

Gdzie krasnale oszukują: audyt śledczy mocniejszym okiem

Gdybyśmy skończyli na zachwycie nad ładnymi cytatami, oszukalibyśmy samych siebie. Przeszliśmy więc skryptem i okiem analitycznym przez wszystkie 300 profili i odpowiedzi, żeby oddzielić mocne strony taniego roju od jego sztucznych szwów:

Gdzie 300 cyfrowych krasnali błyszczy, a gdzie ma szwy (0 do 10)Wyjątkowe narzędzie do szybkiego testu obciążeniowego produktu; bez zmiany promptu nieodpowiednie jako absolutne badanie rynku.1. Szybkość i cena roju (ponad 45 000 tok/s w 17 s)9,5 / 102. Wykrycie ślepych punktów założeń (300 czytelników)9,0 / 103. Logika przyczynowa i zawodowa postaci8,8 / 104. Naturalność czeskiego i czystość JSON-a (300/300)8,0 / 105. Kalibracja liczb i debata przy 60 stołach6,0 / 106. Odporność na papugowanie promptu5,3 / 10

Pięciu bardzo różnych Prażan siedzących przy drewnianym stole w knajpie z pustymi wstęgami mowy nad głowami. Z prawej strony przez początki wszystkich pięciu wstęg patrzy mosiężna lupa, w której mała zielona papuga na stroiku ujawnia, że absolutnie każdy początek zdania ma ten sam zakrzywiony haczyk połączony czerwoną nicią. Obok stołu siedzi szara wilczyca Raven o świetlistych żółtych oczach.

Pod lupą różne postaci są na zewnątrz bardzo żywe, ale początek każdego zdania nosi odcisk zadania (ten sam haczyk pod lupą).

Znaleźliśmy pięć dokładnych sztucznych szwów w całych trzech setkach:

  1. Szablonowy początek zdania u 286 z 300 krasnali: 178 odpowiedzi zaczynało się dokładnie od „Nejvíc mě štve…” („Najbardziej mnie wkurza…”), 95 od „Nejvíc mě pálí…” („Najbardziej mnie piecze…”) i 13 od „Nejvíc mě sere…” („Najbardziej mnie telepie…”) (tylko 14 inaczej). Model mechanicznie przejął słowo wprost z nazwy klucza JSON coMeVPrazeNejvetsiStve.
  2. Zarażenie tematem z poprzedniej pozycji (priming): Aż 90 z 300 respondentów w otwartej skardze spontanicznie ponarzekało na Airbnb, także seniorzy z odległych osiedli, ponieważ trzy wiersze wyżej oceniali regulaceAirbnbAVystavba.
  3. Kotwica zera kontra pięćdziesiąt koron: Po podpowiedzi „klidně 0” („śmiało 0”) 264 z 300 Prażan podało miesięczny budżet na AI 0 Kč, ale za jednorazowy gotowy dokument pięć minut później zapłaciłoby 50 Kč aż 177 z 300 (59 %). A we wszystkich 300 profilach tylko 2 osoby wybrały odpowiedź „nigdy” przy dzisiejszym korzystaniu z AI (z 22 seniorów powyżej 65 lat zaledwie jeden!).
  4. Jednokierunkowy dryf w debacie przy 60 stołach: Po wysłuchaniu czterech sąsiadów 260 Prażan nie zmieniło oceny, 40 ją pogorszyło, a 0 poprawiło, ponieważ polecenie debaty przekazało im wyłącznie zastrzeżenia współbiesiadników, a nie pomysły.
  5. Ładny czeski drobnymi śladami się zdradza: Wychwyciliśmy 34 przypadki nieprażskiego przyimka („v Karlíně”, „v Žižkově”, „v Pankráci”, „v Modřanech”; w praskiej mowie mówi się tu „na Žižkově”, „na Pankráci”), a także cudzoziemcy mieszkający w Pradze od lat pisali równie gładką potoczną dykcją jak rodowici Czesi.

Pogoń za sufitem: 264 081 tok/s, 719,6 stworzonych Prażan na sekundę i tysiąc osób za 31 halerzy

Po pierwszej fali z trzystuosobową praską publicznością zadałem sobie przeciwne pytanie. Co by było, gdybyśmy odłożyli na bok skomplikowany literacki czeski i sprawdzili, gdzie właściwie leży fizyczny sufit szybkości i dolna granica ceny? Wynik zaskoczył od razu dwa razy: samo przełączenie na inny silnik czy duży JSON zdecydowanie nie wystarcza, a na dodatek obowiązuje twarde prawo zachowania jakości.

Kiedy po wysoce równoległej szybkiej architekturze chcieliśmy równie starannego czeskiego i rozumowania (poziom namysłu medium dla 100 Prażan naraz), wynikowy czas wprawdzie spadł do 1,74 sekundy (57,5 Prażan/s), ale łączny przepływ został na poziomie 43 739 tok/s, czyli o włos niżej niż nasz pierwotny jakościowy bieg po czesku (45 192 tok/s). Dlaczego? Aż 71,3 % tokenów pochłonął cichy wewnętrzny namysł (widocznego tekstu spadało tylko 12 534 tok/s), a z każdej sekundy w przeciętnym przypadku 439 ms ukrajało zimne nawiązanie połączenia HTTPS/TLS wobec 516 ms samego obliczenia (66 795 tok/s czystej mocy obliczeniowej).

Gdy natomiast przy czeskim zmniejszyliśmy namysł do minimum (low, 100×1), czas spadł do 1,00 sekundy (25 072 tok/s, z tego 21 561 tok/s widocznych), ale jakość czeskiego i logika zaczęły się kruszyć. Większość w ankiecie o komunikacji miejskiej odwróciła się o 180 stopni (17:33 wobec 47:1 w trybie medium), a krasnale zaczęły odmieniać jak zepsuty automat („po dlouhém směnu”, „peníze jsou těsně”). Naturalny czeski i niuanse porównywalne z dużymi modelami typu GPT po prostu biorą swoją daninę w tokenach rozumowania i wolniejszej odpowiedzi.

Pięć reguł architektonicznych, które odblokowały rekordy

Żeby wyskoczyć ze ściany 45 tysięcy tok/s sześć razy wyżej, nie wystarczyło naciskać siłą. Zdecydowała kombinacja pięciu konkretnych zmian w sposobie wywołań:

  1. Podgrzane połączenia (HTTP Keep-Alive) zamiast zimnego startu: Krótka paczka obliczona w pół sekundy traci niemal dwukrotnie więcej czasu na negocjowanie nowego tunelu TLS. Dopiero gdy przed właściwym pomiarem otworzyliśmy i rozgrzaliśmy połączenia TCP/TLS z góry, każda setka okien zaczęła się mieścić poniżej jednej sekundy (od 0,80 do 1,36 s).
  2. Paczka 10 profili w jednym oknie (100×10) zamiast skrajności 300×1 i 1×100: Próba wciśnięcia wszystkich 100 Prażan do jednego olbrzymiego JSON-a nie powiodła się. Jeden wątek jedzie tylko z szybkością jednowątkową (od 1 749 do 2 288 tok/s): kompaktowa setka trwała 3,66 s, pełny JSON za pierwszym razem zawiódł przy 28 pozycjach (4,74 s i rozpad logiki 0:49), a długi stres-test (64 026 znaków / 24 360 tokenów w 11,84 s) przyniósł klasyczne zmęczenie kontekstu, w którym długość odpowiedzi spadła z 399 do 213 znaków (stosunek 0,53), a krasnal zsunął się w bezosobową narrację w 3. osobie. Złotym środkiem było spakowanie 10 osobowości do jednego kompaktowego zapytania JSON (czeski krok pośredni 25×4 dał 100/100 w 0,93 s, czyli 108,0 Prażan/s za 0,53 Kč).
  3. Robocza angielszczyzna w środku, jakościowy czeski dopiero na wyjściu: Gdy to samo zadanie z niskim rozumowaniem (low) przepisaliśmy do surowej pracy wsadowej w kompaktową angielszczyznę, tokeny rozumowania spadły do ułamka (od 1,9 % do 14 %, ponad 86–98 % wydajności stanowił od razu widoczny wynik), a jednocześnie zachowała się mocna logika (99,5–100 % formy w pierwszej osobie, komunikacja miejska 450:46, opłata dla aut 0:248). Przy masowym biegu krasnali ma więc sens generować strukturę i postawy szybko i tanio po angielsku, a na ładny czeski przekładać dopiero końcowe podsumowanie.
  4. Masowe shardowanie imion przy tworzeniu od zera (719,6 nowych Prażan/s): Gdy setka podgrzanych strumieni po dziesięć (100×10) tworzyła zupełnie nowych mieszkańców Pragi od zera, powstało 980 poprawnych profili z 1 000 w 1,36 sekundy, czyli 719,6 nowo stworzonych Prażan na sekundę (0,96 Kč łącznie, tj. 0,98 Kč za 1 000 osób). Ta sama konfiguracja na istniejącej ankiecie obsłużyła 991 z 1 000 Prażan w 1,34 s, co daje rekordowe 742,0 zapytanych Prażan na sekundę bez jednego błędu 429 (2,07 Kč, tj. 2,09 Kč / 1 000), a podwójna paczka 200×10 poradziła sobie z 1 974 z 2 000 Prażan w 2,77 s (712,4/s). Nauczyliśmy się przy tym ważnego szczegółu: bez przydzielenia osobnych list imion każdemu wątkowi niezależne krasnale czerpią z tego samego stereotypowego kosza, więc z 980 nowych postaci powstało tylko 336 unikalnych imion.
  5. Rozłożenie na kilka niezależnych klastrów (264 081 tok/s) kontra pogoń za groszami (0,31 Kč / 1 000): Jedno szybkie konto uderzyło przy 150 długich strumieniach we własny szczyt 128 976 tok/s (5,18 s, średnia 61 707 tok/s), większa pula z 220 strumieniami podniosła szczyt do 171 306 tok/s (7,20 s, średnia 66 909 tok/s), a dopiero połączenie 550 podgrzanych strumieni w czterech niezależnych klastrach obliczeniowych wystrzeliło 250-milisekundowy szczyt do 264 081 tokenów na sekundę (257 001 tok/s czystego widocznego tekstu, 1 195 658 tokenów wyjściowych łącznie, 98,1 % widocznego tekstu, 0 błędów 429, 71 077 tok/s w szybkich 95 % zapytań i 59 011 tok/s przez pełne 20,26 s do dobiegu najwolniejszego klastra). Na przeciwnym biegunie leży tryb minimalnej ceny: z najtańszą ścieżką obliczeniową (30×10) dostaliśmy 259 poprawnych ankiet w 10,18 s za zaledwie 0,08 Kč, czyli rekordowe 0,31 Kč za 1 000 Prażan (0,031 Kč za setkę osób) przy 100 % utrzymaniu pierwszej osoby.
Przepływ według strategii (tok/s, wraz ze szczytowym oknem 250 ms)Jakościowy CZ (300×1, pierwotny)45 192 tok/s (17,34 s)Szybka arch. CZ (medium, 100×1)43 739 łącznie / 12 534 widocz. (71,3 % rozważań)1 strumień, olbrzymi JSON (1×100)od 1 749 do 2 288 tok/s (zmęczenie kontekstu 0,53×)Podgrzana paczka EN (100×10)62 456 średnia / 94 499 szczyt (742,0 osób/s)1 duża pula (220 strumieni)171 306 tok/s szczyt (66 909 średnia)4 klastry (550 strumieni)264 081 tok/s (257 001 widocz.)Pełna część słupka = wydajność średnia / widoczna · Jaśniejsza część = szczytowe okno 250 ms lub ukryte rozważania modelu
Tryb eksperymentuCzasPrzepływ tokenówWydajność (Prażan/s)Cena za 1 000 osóbZachowanie i jakość
Jakościowy czeski rój (300×1, pierwotny bieg)17,34 s45 192 tok/s17,3/s (300 osób)31,57 Kč (9,47 Kč / 300)Naturalny praski czeski, jakość powyżej GPT Luna
Szybka arch. CZ + medium (100×1)1,74 s43 739 tok/s (12 534 widocz.)57,5/s (100 osób)18,80 Kč (1,88 Kč / 100)Logika 47:1 się trzyma, ale 71,3 % pochłania namysł
Szybka arch. CZ + low (100×1)1,00 s25 072 tok/s (21 561 widocz.)99,9/s (100 osób)10,00 Kč (1,00 Kč / 100)Szybko, ale łamią się końcówki i logika (17:33)
Czeski kompromis paczką (25×4, low)0,93 s22 863 tok/s (11 465 widocz.)108,0/s (100 osób)5,30 Kč (0,53 Kč / 100)Krótkie, uderzeniowe odpowiedzi, bez wpadania w błędy
Stworzenie od zera EN (100×10, Keep-Alive)1,36 s33 457 tok/s (63 233 szczyt)719,6/s (980 z 1 000)0,98 Kč (0,96 Kč / 980)336 unikalnych imion bez shardowania
Rekord ankietowy EN (100×10, Keep-Alive)1,34 s62 456 tok/s (94 499 szczyt)742,0/s (991 z 1 000)2,09 Kč (2,07 Kč / 991)99,5 % formy w pierwszej osobie, komunikacja miejska 450:46, opłata 0:248
Podwójna ankieta EN (200×10, Keep-Alive)2,77 s60 203 tok/s (139 028 szczyt)712,4/s (1 974 z 2 000)2,10 Kč (4,14 Kč / 1 974)99,7 % formy w pierwszej osobie, 0 błędów 429
Najniższa cena EN (30×10, Keep-Alive)10,18 s2 521 tok/s (3 178 szczyt)25,4/s (259 z 300)0,31 Kč (0,08 Kč / 259)100 % formy w pierwszej osobie, komunikacja miejska 110:20, 3 halerze / 100
Sufit tokenów 550 strumieni przez 4 klastry20,26 s (4,90 s mediana)264 081 tok/s szczyt (257 001 widocz.)1 195 658 tokenów20,25 Kč łącznie (1,69 Kč / 100k tok)550/550 OK, 0× 429, 98,1 % widocznego tekstu

Ile kosztuje taki rój i co z niego bierzemy do Hyperprostoru

Sam ostry bieg trzech setek unikalnych Prażan (dogenerowanie dwustu nowych postaci, zbiorcza ankieta 300 okien i obie rundy oceny produktu przy 60 stołach) wyszedł na zaledwie 0,79 USD (mniej więcej 18,09 Kč). Cała pierwsza czeska fala razem ze wszystkimi testowymi falami drabinki i ilustracjami z Atelier wyniosła 3,37 USD (77,47 Kč), kolejna seria architektonicznych testów szybkości i ceny dodała 2,18 USD (50,08 Kč), więc całe badanie obu trybów razem, wraz z próbą obciążeniową 550 równoległych strumieni, kosztowało zaledwie 5,55 USD (127,54 Kč).

Do Zespołów roboczych w Hyperprostorze bierzemy z tego prostą dwubiegową zasadę. Tam, gdzie potrzebujesz naturalnego czeskiego i subtelnego namysłu zbliżonego do dużych modeli GPT, zostajesz przy spokojniejszych 45 tysiącach tok/s w niecałe dwadzieścia sekund. A tam, gdzie potrzebujesz w ciągu sekundy wyrzucić setki, a nawet tysiąc perspektyw na potrzeby badania, przetestować tekst na publiczności albo uruchomić masową symulację za 31 halerzy na tysiąc osób, włączasz podgrzane dziesięcioosobowe paczki po angielsku, oddzielne shardy imion i dopiero czysty wynik tłumaczysz na ludzki język.

Jan Tyl

Powiązane artykuły