Stworzyłem 300 krasnali z duszą Prażan: rekord 264 081 tok/s i 719,6 osób/s, wyższa jakość spowalnia do 45 tysięcy
Stworzyłem 300 unikalnych wirtualnych Prażan w naturalnym czeskim z szybkością 45 192 tok/s (gotowe w 17,34 s). Gdy potem zmieniłem architekturę wywołań i gnałem za czystym sufitem szybkości i ceny, rozpędziłem rój do 264 081 tokenów na sekundę, stworzyłem 719,6 nowych Prażan na sekundę (742,0 zapytanych na sekundę) i zbiłem cenę do 0,31 Kč za tysiąc osób.


Wyobraź sobie, że zamiast jednego wielkiego doradcy AI masz w drewnianym pudle na biurku 300 maleńkich cyfrowych krasnali. Każdy ma własny ołówek, własne mieszkanie w innej praskiej dzielnicy, własny pasek wypłaty i własny powód, dla którego rano klnie w tramwaju albo w korku na Jižní spojce. Kiedy zażądaliśmy od nich naprawdę ładnego, naturalnego czeskiego i rozumowania na poziomie dużych modeli typu GPT, rozbiegły się po biurku z szybkością 45 192 tokenów na sekundę i wszystkie 300 ankiet wypełniły w 17,34 sekundy bez jednego błędu. Gdy jednak zaraz potem przebudowaliśmy samą architekturę wywołań i gnaliśmy za czystym sufitem szybkości i ceny, rozpędziliśmy rój aż do 264 081 tokenów na sekundę, potrafiliśmy stworzyć 719,6 nowych Prażan na sekundę (a zapytać ich 742,0 na sekundę) i zbiliśmy cenę aż do 0,31 Kč za tysiąc osób.
Jedno drugiego przy tym nie wyklucza, tylko za jakość płaci się inną monetą. Im bardziej naturalnego czeskiego, głębszego namysłu i dokładniejszego kontekstu zbliżonego do dużych flagowych modeli wymagasz, tym wyraźniej realny przepływ tokenów zwalnia. Wszystkie konkretne nazwy modeli i dostawców zostawiamy w kuchni, poniżej znajdziesz dokładne liczby, ślepe uliczki i pięć architektonicznych zabiegów, które o nich zdecydowały.
Dokładnie to sprawdziliśmy, projektując Zespoły robocze w Hyperprostorze. Chcieliśmy, żeby każdy dokument, budżet czy prezentację przed oddaniem przeczytało kilka sztucznych osobowości w roli odbiorców i powiedziało, gdzie się pogubiły. Ze strachu o rachunek i szybkość ostrożnie ograniczyliśmy jednak w pierwotnej specyfikacji publiczność do 3–5 czytelników, a współbieżność do 4 kroków.
Potem pod maską Hyperprostoru przetestowaliśmy cichego pracusia w dokładnie tej samej cenie co GPT Luna (dziesięć centów za milion tokenów wejściowych i pięćdziesiąt centów za milion wyjściowych, czyli mniej więcej 2,30 Kč i 11,50 Kč), który jednak w niezależnym zestawieniu Artificial Analysis Intelligence Index zbiera około 36 punktów wobec 27–28 punktów u GPT Luna (a w agentowym AutomationBench mniej więcej 37,8 % wobec 20,2 %). Jego dokładną nazwę zostawiamy w kuchni. Interesowała nas jedna rzecz: ilu takich krasnali interfejs utrzyma w jednej chwili bez jednego błędu 429 i czy z nich spadają użyteczne myśli, czy tylko drogi szum?
Krótka filmowa wizja całego eksperymentu (włącz dźwięk): wszystkie 300 krasnali przed laptopem skrobie jednocześnie ołówkiem ankietę, aż jeden z nich głośno westchnie: „Na Vinohradach płacę majlant za pudło.”
300 okienek na jednym ekranie
Wyskryptowana symulacja według dokładnych milisekundowych logów wszystkich 300 równoległych wątków (P001 do P300) obok siebie w siatce 20 × 15 na jednym ekranie. Najechanie myszą rozwija lupę na żywo pod ścianą, a kliknięcie otwiera pełną kartę i reakcję Prażanina.
Żeby krasnale nie pisały pustych frazesów, dostały prawdziwe czterokrokowe zadanie:
- Stworzenie 300 unikalnych Prażan (
P001doP300): stratyfikowanych tak, żeby osób z wyższym wykształceniem było dokładnie 37 % (111z300), mediana wieku wyszła 39 lat (od18do84lat), a dochód netto od8 000 Kčdo135 000 Kč(mediana 42 000 Kč). Od rzeźnika z hali targowej w Holešovicach, kostiumografki z Barrandova, maszynisty metra linii C i niewidomego stroiciela fortepianów po ukraińską pielęgniarkę w Krči, emerytowanego zegarmistrza czy twórcę gier z Karlína. - 300 krasnali jednocześnie wypełniło Ankietę Prażanina 2026 (gotowe w 17 sekund): wszystkie
300osobowości wystartowało w jednej chwili (Promise.all). Cała gromada była gotowa w 17 sekund (dokładnie 17,34 s), wszystkie 300 z 300 zwróciło poprawny JSON za pierwszym razem bez jednego błędu429, z szybkością ponad 45 000 tokenów na sekundę (45 192 tok/s) i za zaledwie 9,47 Kč. - 300 czytelników przeprowadziło test naszego produktu w dwóch rundach: najpierw każdy z 300 Prażan samodzielnie ocenił projekt Zespołów roboczych w Hyperprostorze z hamulcem namysłu
effort = "low"(8,91 s, 35 460 tok/s, czysty widoczny tekst 10 387 tok/s, koszt 4,39 Kč). Potem podzieliliśmy ich na sześćdziesiąt pięcioosobowych stołów w knajpie, przy których każdy widział zastrzeżenia czterech sąsiadów (7,09 s,33 640 tok/s). - Drabinka obciążeniowa od 1 do 300 równoległych wątków: każde wywołanie niosło unikalne ID, żeby nie dało się oszukiwać z cache, a każda fala mierzyła płynność odpowiedzi aż do granicy trzech setek równoległych modeli.

Widok z góry na wszystkie 300 krasnali ustawionych na stole przed laptopem (12 bloków po 5 × 5 skrybów = dokładnie 300 równoległych ankiet w jednej chwili).
Ponad 45 000 tokenów na sekundę: 300 Prażan gotowych w 17 sekund
Kiedy do wszystkich 300 wątków naraz weszli żywi wirtualni Prażanie z pełnymi życiorysami i otwartym pytaniem, łączna wydajność gromady wzleciała ponad 45 000 tokenów na sekundę (45 192 tok/s), a cała trzysetka była gotowa w 17 sekund (17,34 s, 783 544 tokenów wyjściowych za 9,47 Kč). Także w osobnej, syntetycznej drabince obciążeniowej z krótkim technicznym promptem interfejs skalował się od jednego okna aż do C = 300 bez jednego błędu 429 w tempie 31 876 tok/s (23,94 s, 9,00 Kč).
| Współbieżność | Powodzenie | Czas całej fali | Mediana (p50) | 95. percentyl (p95) | Wydajność gromady | Widoczny tekst | Koszt fali |
|---|---|---|---|---|---|---|---|
| 1 okno | 1 / 1 (100 %) | 6,83 s | 6,83 s | 6,83 s | 468 tok/s | 33 tok/s | 0,04 Kč |
| 10 okien | 10 / 10 (100 %) | 8,79 s | 5,57 s | 8,65 s | 2 615 tok/s | 237 tok/s | 0,27 Kč |
| 50 okien | 50 / 50 (100 %) | 16,44 s | 6,58 s | 10,84 s | 7 873 tok/s | 654 tok/s | 1,51 Kč |
| 100 okien | 100 / 100 (100 %) | 19,39 s | 6,86 s | 11,46 s | 13 519 tok/s | 1 111 tok/s | 3,06 Kč |
| 150 okien | 150 / 150 (100 %) | 14,91 s | 7,35 s | 10,69 s | 23 915 tok/s | 2 150 tok/s | 4,17 Kč |
| 200 okien | 200 / 200 (100 %) | 22,18 s | 8,12 s | 12,11 s | 23 031 tok/s | 1 926 tok/s | 5,96 Kč |
| 300 okien (drabinka) | 299 / 300 (99,7 %) | 23,94 s | 9,18 s | 13,96 s | 31 876 tok/s | 2 685 tok/s | 9,00 Kč |
| 300 Prażan (Ankieta) | 300 / 300 (100 %) | 17,34 s | ~8,5 s | ~13,2 s | 45 192 tok/s | 4 062 tok/s | 9,47 Kč |
300 Prażan (effort="low") | 300 / 300 (100 %) | 8,91 s | ~5,1 s | ~7,6 s | 35 460 tok/s | 10 387 tok/s | 4,39 Kč |
Pod pokrywką tej olbrzymiej szybkości kryje się jednak ważny szczegół inżynieryjny:
- Każdy krasnal dziewięć dziesiątych czasu mruczy sobie pod nosem: W domyślnej fali 300 Prażan z łącznych 783 544 tokenów aż 91,0 % (713 109 tokenów) przypadło na niewidoczne wewnętrzne rozważania, a tylko 4 062 tok/s stanowił sam wyjściowy JSON.
- Dlaczego odpadł jedyny biegacz z drabinki (i dlaczego z zapasem przeżyło wszystkie 300 Prażan): W pierwszej drabince
C = 300(limit 8 192 tokenów) wątek#096zapętlił się w rozważaniach na8 190z8 192tokenów i zwrócił pusty JSON przyHTTP 200. Gdy tylko podnieśliśmy zapas do10 240tokenów, przeszło 300 z 300 Prażan czysto za pierwszym razem. - Magiczny hamulec
effort = "low": Kiedy tych samych 300 krasnali puściliśmy do oceny Hyperprostoru zreasoning: { effort: "low" }, udział rozważań spadł do 70,7 %, cała fala trzech setek agentów skończyła w 8,91 s, widoczny wynik wyskoczył do 10 387 tokenów na sekundę, a koszt spadł poniżej połowy (4,39 Kč za 300 czytelników).

Warto okiełznać wewnętrzne mruczenie: tryb domyślny spala ponad 90 % wydajności na wewnętrzne pętle (po lewej), a prosty hamulec effort="low" zbija czas do 8,9 sekundy, a rachunek o połowę (po prawej).
Czy odpowiedzi oszczędnego roju mają ręce i nogi?
Szybkość za darmo byłaby do niczego, gdyby z trzech setek okien spadały bzdury. Kiedy jednak ustawiliśmy wszystkich 300 Prażan według tego, jak podróżują po mieście, i zapytaliśmy o propozycję opłaty 100 Kč dziennie za wjazd samochodem do szerszego centrum w zamian za wzmocnioną komunikację miejską, wynik utrzymał zaskakująco ostrą logikę ekonomiczną:
| Transport respondenta | Liczba Prażan | Za opłatą | Przeciw opłacie | Niezdecydowany |
|---|---|---|---|---|
| Tylko komunikacja miejska | 143 | 133 | 4 | 6 |
| Kombinacja / pieszo / rower | 80 | 68 | 11 | 1 |
| Tylko samochód | 77 | 0 | 77 | 0 |
| Razem próba | 300 | 201 | 92 | 7 |
Wszystkich siedemdziesięciu siedmiu wyłącznych kierowców zagłosowało 0 : 77 przeciw, a pasażerowie komunikacji miejskiej 133 : 4 za (a nieliczni niezdecydowani wnieśli całkowicie racjonalną wątpliwość, że nie wierzą magistratowi w kierowanie zebranych pieniędzy z powrotem do połączeń).
Jeszcze cenniejszy był test naszej własnej propozycji Zespołów roboczych w Hyperprostorze na wszystkich 300 profilach (ocena ogólna 3,34 → 3,47, gotowość wypróbowania za jednorazowe 50 Kč 59,0 % → 47,3 %):
- IT i zarządzanie (
n = 29): ocena 2,83 → 2,83, gotowość wypróbowania za 50 Kč 96,6 % → 96,6 %. - Samozatrudnieni i małe firmy (
n = 61): ocena 3,03 → 3,21, gotowość wypróbowania za 50 Kč 86,9 % → 68,9 %. - Nauczyciele i wykładowcy (
n = 21): ocena 3,05 → 3,24, gotowość wypróbowania za 50 Kč 85,7 % → 76,2 %. - Studenci (
n = 18): ocena 3,11 → 3,33, gotowość wypróbowania za 50 Kč 77,8 % → 61,1 %. - Administracja publiczna, ochrona zdrowia i kultura (
n = 50): ocena 3,22 → 3,44, gotowość wypróbowania za 50 Kč 64 % → 46 %. - Zawody robotnicze i operacyjne (
n = 99): ocena 3,67 → 3,77, gotowość wypróbowania za 50 Kč 31,3 % → 21,2 %. - Seniorzy (
n = 22): ocena 4,09 → 4,09, gotowość wypróbowania za 50 Kč 4,5 % → 4,5 %.
Posłuchaj ośmiu konkretnych głosów z całych trzech setek:
- Ondřej Marek (
P013, 28 lat, programista IT, Vršovice, 68 000 Kč): „Przy limicie 80 % przestanie to jednak poprawiać, więc ryzykuję niedoróbkę, którą potem i tak będę musiał całą przepisywać. A przy materiałach roboczych musiałbym się też zastanawiać nad zaufaniem i prywatnością - co system z tym zrobi, kto odpowiada za błędy.” (Ocena 2 → 2, 50 Kč: TAK; niejasne: Role takie jak Składacz i Grafik wydają mi się niepotrzebnie przesadzone, a „kontroler z innej rodziny modeli” brzmi głównie jak marketing. I nie jest dla mnie jasne, co się stanie, jeśli 50 Kč na porządny dokument po prostu nie wystarczy - to wydaje mi się głównym haczykiem.) - Hana Kučerová (
P021, 36 lat, nauczycielka szkoły podstawowej, Prosek, 45 000 Kč): „Nawet gdyby to kosztowało 50 Kč, i tak będę musiała wszystko sprawdzić, czy jest poprawne po czesku i zgodne z tym, czego uczymy, a na to po wieczorze z dziećmi nie mam ani czasu, ani nerwów. A przy dzieciach nie mogę sobie pozwolić na błąd.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Gubię się w tych nazwach ról - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli, test przed publicznością. Dla mnie to za dużo skomplikowanych słów jak na to, że chcę po prostu prosty dokument bez papierologii.) - Bohuslav Křepela (
P255, 58 lat, niewidomy stroiciel fortepianów, Vinohrady, 36 000 Kč): „Skąd mam wiedzieć, że gotowy PDF albo prezentacja są poprawne, skoro ich nie widzę? A że nie ma tam wymyślonych cen ani błędów w strojeniu, tego mi żaden kontroler z innej rodziny modeli sam z siebie nie zagwarantuje.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Zgubiłem się w tablicy, przebiegu na żywo, grafiku i składaczu. Jako niewidomy potrzebuję rzeczy przede wszystkim słyszeć i obsługiwać klawiaturą lub głosem, a nie klikać po obrazkach i patrzeć, jak to wygląda.) - Ctirad Malina (
P101, 52 lata, rzeźnik w hali targowej w Holešovicach, Holešovice, 48 000 Kč): „Kto mi zagwarantuje, że nie wymyśli liczb o kosztach remontu i energii? I tak będę musiał przeliczyć sam, a jeszcze nie wiem, dokąd trafiają moje dane, urzędom bym tego tak po prostu nie powierzył.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Te role - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli i test przed publicznością - to dla mnie czarna magia. Ja potrzebuję wiedzieć tylko, ile to kosztuje, jak długo trwa i czy się zgadza.) - Radim Závodný (
P122, 34 lata, strażak z Holešovic, Holešovice, 52 000 Kč): „Głównym problemem jest zaufanie. AI spokojnie wymyśli głupotę, a ja i tak będę to musiał sprawdzać po 24-godzinnym dyżurze, inaczej zarobię kłopoty. I naprawdę nie chcę przy tym siedzieć przy komputerze, wolę napisać to sam.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Składacz, Kontroler z innej rodziny modeli, test przed publicznością - to dla mnie marketingowe gadanie. Nie rozumiem, po co mi sześć różnych AI, skoro chcę napisać tylko jedno pismo.) - Oksana Melnyk (
P227, 39 lat, pielęgniarka w szpitalu Thomayera, Krč, 48 000 Kč): „Boję się, że napisze to źle po czesku albo wymyśli bzdurę, a urząd tego nie uzna, a ja będę musiała temu wierzyć, chociaż tego nie rozumiem. W szpitalu nigdy nie powierzyłabym temu żadnego papieru o pacjentach.” (Ocena 3 → 3, 50 Kč: TAK; niejasne: Te role Kierownik, Składacz, Kontroler z innej rodziny modeli i test przed publicznością - to mi nic nie mówi, brzmi jak dla informatyków i jest dla mnie niepotrzebnie skomplikowane.) - Klára Sedláčková (
P036, 34 lata, właścicielka małego e-sklepu, Vysočany, 85 000 Kč): „Najbardziej boję się, że wymyśli bzdury o cenach, VAT-cie, przewoźnikach albo terminach w e-sklepie, a ja i tak będę potem w domu całą noc to sprawdzać, zanim wyślę klientowi. Zaoszczędzi mi to czas tylko wtedy, gdy będzie pasować do czeskich realiów, a nie tylko ogólnie ładnie brzmieć.” (Ocena 2 → 2, 50 Kč: TAK; niejasne: Kontroler z innej rodziny modeli i ten test przed publicznością - to brzmi jak bardzo specjalistyczne marketingowe opakowanie, nie wiem, co mam sobie pod tym realnie wyobrazić.) - Oldřich Pospíšil (
P171, 81 lat, emerytowany zegarmistrz, Košíře, 21 000 Kč): „Główna wątpliwość jest taka, że musiałbym mieć do tego komputer i czytać to małymi literkami, a na oczy już bardzo nie widzę. A wyrzucić 50 koron za papier, o którym nie wiem, kto go pisał i czy jest w nim prawda, to dla mnie nie ma sensu, to mi córka napisze list na papierze.” (Ocena 5 → 5, 50 Kč: NIE; niejasne: Zgubiłem się od razu przy tych rolach - Kierownik, Badacz, Składacz, Kontroler z innej rodziny modeli. PowerPoint, Excel, tablica, test przed publicznością - to dla mnie obce słowa, ja pracuję rękami przy stole, nie w aplikacji.)
Za niecałe dziewięć sekund i cztery korony czterdzieści halerzy 300 cyfrowych krasnali rozbiło nam pięć ślepych punktów założeń, zanim dotknęliśmy kodu:
- 80-procentowy hamulec budżetu działa jak groźba niedoróbki (programiści IT i rzemieślnicy spodziewają się, że zapłacą za półprodukt, który będą pół dnia poprawiać).
- Nazwy Składacz i Kontroler z innej rodziny modeli mylą ponad 85 % respondentów niezależnie od wykształcenia.
- Tablica sześciu osobowości zniechęca zmęczonych po zmianie użytkowników, którzy chcą jednego wyniku bez zarządzania minizespołem.
- Asymetria odpowiedzialności: wpadkę przed klientem, szefem czy urzędem zawsze poniesie człowiek swoim podpisem.
- Niewidomy stroiciel fortepianów (
P255) natychmiast wyciągnął ślepą plamę dostępności: kto nie może obejrzeć PDF-a ani prezentacji oczami, nie jest w stanie ocenić wizualnej „tablicy” ani wyniku bez głosowego i tekstowego podglądu.
Gdzie krasnale oszukują: audyt śledczy mocniejszym okiem
Gdybyśmy skończyli na zachwycie nad ładnymi cytatami, oszukalibyśmy samych siebie. Przeszliśmy więc skryptem i okiem analitycznym przez wszystkie 300 profili i odpowiedzi, żeby oddzielić mocne strony taniego roju od jego sztucznych szwów:

Pod lupą różne postaci są na zewnątrz bardzo żywe, ale początek każdego zdania nosi odcisk zadania (ten sam haczyk pod lupą).
Znaleźliśmy pięć dokładnych sztucznych szwów w całych trzech setkach:
- Szablonowy początek zdania u 286 z 300 krasnali: 178 odpowiedzi zaczynało się dokładnie od „Nejvíc mě štve…” („Najbardziej mnie wkurza…”), 95 od „Nejvíc mě pálí…” („Najbardziej mnie piecze…”) i 13 od „Nejvíc mě sere…” („Najbardziej mnie telepie…”) (tylko 14 inaczej). Model mechanicznie przejął słowo wprost z nazwy klucza JSON
coMeVPrazeNejvetsiStve. - Zarażenie tematem z poprzedniej pozycji (priming): Aż 90 z 300 respondentów w otwartej skardze spontanicznie ponarzekało na Airbnb, także seniorzy z odległych osiedli, ponieważ trzy wiersze wyżej oceniali
regulaceAirbnbAVystavba. - Kotwica zera kontra pięćdziesiąt koron: Po podpowiedzi „klidně 0” („śmiało 0”) 264 z 300 Prażan podało miesięczny budżet na AI 0 Kč, ale za jednorazowy gotowy dokument pięć minut później zapłaciłoby 50 Kč aż 177 z 300 (59 %). A we wszystkich 300 profilach tylko 2 osoby wybrały odpowiedź „nigdy” przy dzisiejszym korzystaniu z AI (z 22 seniorów powyżej 65 lat zaledwie jeden!).
- Jednokierunkowy dryf w debacie przy 60 stołach: Po wysłuchaniu czterech sąsiadów 260 Prażan nie zmieniło oceny, 40 ją pogorszyło, a 0 poprawiło, ponieważ polecenie debaty przekazało im wyłącznie zastrzeżenia współbiesiadników, a nie pomysły.
- Ładny czeski drobnymi śladami się zdradza: Wychwyciliśmy 34 przypadki nieprażskiego przyimka („v Karlíně”, „v Žižkově”, „v Pankráci”, „v Modřanech”; w praskiej mowie mówi się tu „na Žižkově”, „na Pankráci”), a także cudzoziemcy mieszkający w Pradze od lat pisali równie gładką potoczną dykcją jak rodowici Czesi.
Pogoń za sufitem: 264 081 tok/s, 719,6 stworzonych Prażan na sekundę i tysiąc osób za 31 halerzy
Po pierwszej fali z trzystuosobową praską publicznością zadałem sobie przeciwne pytanie. Co by było, gdybyśmy odłożyli na bok skomplikowany literacki czeski i sprawdzili, gdzie właściwie leży fizyczny sufit szybkości i dolna granica ceny? Wynik zaskoczył od razu dwa razy: samo przełączenie na inny silnik czy duży JSON zdecydowanie nie wystarcza, a na dodatek obowiązuje twarde prawo zachowania jakości.
Kiedy po wysoce równoległej szybkiej architekturze chcieliśmy równie starannego czeskiego i rozumowania (poziom namysłu medium dla 100 Prażan naraz), wynikowy czas wprawdzie spadł do 1,74 sekundy (57,5 Prażan/s), ale łączny przepływ został na poziomie 43 739 tok/s, czyli o włos niżej niż nasz pierwotny jakościowy bieg po czesku (45 192 tok/s). Dlaczego? Aż 71,3 % tokenów pochłonął cichy wewnętrzny namysł (widocznego tekstu spadało tylko 12 534 tok/s), a z każdej sekundy w przeciętnym przypadku 439 ms ukrajało zimne nawiązanie połączenia HTTPS/TLS wobec 516 ms samego obliczenia (66 795 tok/s czystej mocy obliczeniowej).
Gdy natomiast przy czeskim zmniejszyliśmy namysł do minimum (low, 100×1), czas spadł do 1,00 sekundy (25 072 tok/s, z tego 21 561 tok/s widocznych), ale jakość czeskiego i logika zaczęły się kruszyć. Większość w ankiecie o komunikacji miejskiej odwróciła się o 180 stopni (17:33 wobec 47:1 w trybie medium), a krasnale zaczęły odmieniać jak zepsuty automat („po dlouhém směnu”, „peníze jsou těsně”). Naturalny czeski i niuanse porównywalne z dużymi modelami typu GPT po prostu biorą swoją daninę w tokenach rozumowania i wolniejszej odpowiedzi.
Pięć reguł architektonicznych, które odblokowały rekordy
Żeby wyskoczyć ze ściany 45 tysięcy tok/s sześć razy wyżej, nie wystarczyło naciskać siłą. Zdecydowała kombinacja pięciu konkretnych zmian w sposobie wywołań:
- Podgrzane połączenia (
HTTP Keep-Alive) zamiast zimnego startu: Krótka paczka obliczona w pół sekundy traci niemal dwukrotnie więcej czasu na negocjowanie nowego tunelu TLS. Dopiero gdy przed właściwym pomiarem otworzyliśmy i rozgrzaliśmy połączenia TCP/TLS z góry, każda setka okien zaczęła się mieścić poniżej jednej sekundy (od0,80do1,36 s). - Paczka 10 profili w jednym oknie (
100×10) zamiast skrajności300×1i1×100: Próba wciśnięcia wszystkich 100 Prażan do jednego olbrzymiego JSON-a nie powiodła się. Jeden wątek jedzie tylko z szybkością jednowątkową (od 1 749 do 2 288 tok/s): kompaktowa setka trwała3,66 s, pełny JSON za pierwszym razem zawiódł przy 28 pozycjach (4,74 si rozpad logiki0:49), a długi stres-test (64 026znaków /24 360tokenów w11,84 s) przyniósł klasyczne zmęczenie kontekstu, w którym długość odpowiedzi spadła z399do213znaków (stosunek0,53), a krasnal zsunął się w bezosobową narrację w 3. osobie. Złotym środkiem było spakowanie 10 osobowości do jednego kompaktowego zapytania JSON (czeski krok pośredni25×4dał100/100w0,93 s, czyli 108,0 Prażan/s za0,53 Kč). - Robocza angielszczyzna w środku, jakościowy czeski dopiero na wyjściu: Gdy to samo zadanie z niskim rozumowaniem (
low) przepisaliśmy do surowej pracy wsadowej w kompaktową angielszczyznę, tokeny rozumowania spadły do ułamka (od 1,9 % do 14 %, ponad 86–98 % wydajności stanowił od razu widoczny wynik), a jednocześnie zachowała się mocna logika (99,5–100 %formy w pierwszej osobie, komunikacja miejska450:46, opłata dla aut0:248). Przy masowym biegu krasnali ma więc sens generować strukturę i postawy szybko i tanio po angielsku, a na ładny czeski przekładać dopiero końcowe podsumowanie. - Masowe shardowanie imion przy tworzeniu od zera (
719,6nowych Prażan/s): Gdy setka podgrzanych strumieni po dziesięć (100×10) tworzyła zupełnie nowych mieszkańców Pragi od zera, powstało 980 poprawnych profili z 1 000 w 1,36 sekundy, czyli 719,6 nowo stworzonych Prażan na sekundę (0,96 Kčłącznie, tj. 0,98 Kč za 1 000 osób). Ta sama konfiguracja na istniejącej ankiecie obsłużyła 991 z 1 000 Prażan w 1,34 s, co daje rekordowe 742,0 zapytanych Prażan na sekundę bez jednego błędu429(2,07 Kč, tj.2,09 Kč / 1 000), a podwójna paczka200×10poradziła sobie z 1 974 z 2 000 Prażan w 2,77 s (712,4/s). Nauczyliśmy się przy tym ważnego szczegółu: bez przydzielenia osobnych list imion każdemu wątkowi niezależne krasnale czerpią z tego samego stereotypowego kosza, więc z980nowych postaci powstało tylko 336 unikalnych imion. - Rozłożenie na kilka niezależnych klastrów (
264 081 tok/s) kontra pogoń za groszami (0,31 Kč / 1 000): Jedno szybkie konto uderzyło przy150długich strumieniach we własny szczyt 128 976 tok/s (5,18 s, średnia61 707 tok/s), większa pula z220strumieniami podniosła szczyt do 171 306 tok/s (7,20 s, średnia66 909 tok/s), a dopiero połączenie 550 podgrzanych strumieni w czterech niezależnych klastrach obliczeniowych wystrzeliło 250-milisekundowy szczyt do 264 081 tokenów na sekundę (257 001 tok/s czystego widocznego tekstu, 1 195 658 tokenów wyjściowych łącznie,98,1 %widocznego tekstu,0błędów429, 71 077 tok/s w szybkich 95 % zapytań i59 011 tok/sprzez pełne20,26 sdo dobiegu najwolniejszego klastra). Na przeciwnym biegunie leży tryb minimalnej ceny: z najtańszą ścieżką obliczeniową (30×10) dostaliśmy 259 poprawnych ankiet w10,18 sza zaledwie 0,08 Kč, czyli rekordowe 0,31 Kč za 1 000 Prażan (0,031 Kčza setkę osób) przy100 %utrzymaniu pierwszej osoby.
| Tryb eksperymentu | Czas | Przepływ tokenów | Wydajność (Prażan/s) | Cena za 1 000 osób | Zachowanie i jakość |
|---|---|---|---|---|---|
Jakościowy czeski rój (300×1, pierwotny bieg) | 17,34 s | 45 192 tok/s | 17,3/s (300 osób) | 31,57 Kč (9,47 Kč / 300) | Naturalny praski czeski, jakość powyżej GPT Luna |
Szybka arch. CZ + medium (100×1) | 1,74 s | 43 739 tok/s (12 534 widocz.) | 57,5/s (100 osób) | 18,80 Kč (1,88 Kč / 100) | Logika 47:1 się trzyma, ale 71,3 % pochłania namysł |
Szybka arch. CZ + low (100×1) | 1,00 s | 25 072 tok/s (21 561 widocz.) | 99,9/s (100 osób) | 10,00 Kč (1,00 Kč / 100) | Szybko, ale łamią się końcówki i logika (17:33) |
Czeski kompromis paczką (25×4, low) | 0,93 s | 22 863 tok/s (11 465 widocz.) | 108,0/s (100 osób) | 5,30 Kč (0,53 Kč / 100) | Krótkie, uderzeniowe odpowiedzi, bez wpadania w błędy |
Stworzenie od zera EN (100×10, Keep-Alive) | 1,36 s | 33 457 tok/s (63 233 szczyt) | 719,6/s (980 z 1 000) | 0,98 Kč (0,96 Kč / 980) | 336 unikalnych imion bez shardowania |
Rekord ankietowy EN (100×10, Keep-Alive) | 1,34 s | 62 456 tok/s (94 499 szczyt) | 742,0/s (991 z 1 000) | 2,09 Kč (2,07 Kč / 991) | 99,5 % formy w pierwszej osobie, komunikacja miejska 450:46, opłata 0:248 |
Podwójna ankieta EN (200×10, Keep-Alive) | 2,77 s | 60 203 tok/s (139 028 szczyt) | 712,4/s (1 974 z 2 000) | 2,10 Kč (4,14 Kč / 1 974) | 99,7 % formy w pierwszej osobie, 0 błędów 429 |
Najniższa cena EN (30×10, Keep-Alive) | 10,18 s | 2 521 tok/s (3 178 szczyt) | 25,4/s (259 z 300) | 0,31 Kč (0,08 Kč / 259) | 100 % formy w pierwszej osobie, komunikacja miejska 110:20, 3 halerze / 100 |
Sufit tokenów 550 strumieni przez 4 klastry | 20,26 s (4,90 s mediana) | 264 081 tok/s szczyt (257 001 widocz.) | 1 195 658 tokenów | 20,25 Kč łącznie (1,69 Kč / 100k tok) | 550/550 OK, 0× 429, 98,1 % widocznego tekstu |
Ile kosztuje taki rój i co z niego bierzemy do Hyperprostoru
Sam ostry bieg trzech setek unikalnych Prażan (dogenerowanie dwustu nowych postaci, zbiorcza ankieta 300 okien i obie rundy oceny produktu przy 60 stołach) wyszedł na zaledwie 0,79 USD (mniej więcej 18,09 Kč). Cała pierwsza czeska fala razem ze wszystkimi testowymi falami drabinki i ilustracjami z Atelier wyniosła 3,37 USD (77,47 Kč), kolejna seria architektonicznych testów szybkości i ceny dodała 2,18 USD (50,08 Kč), więc całe badanie obu trybów razem, wraz z próbą obciążeniową 550 równoległych strumieni, kosztowało zaledwie 5,55 USD (127,54 Kč).
Do Zespołów roboczych w Hyperprostorze bierzemy z tego prostą dwubiegową zasadę. Tam, gdzie potrzebujesz naturalnego czeskiego i subtelnego namysłu zbliżonego do dużych modeli GPT, zostajesz przy spokojniejszych 45 tysiącach tok/s w niecałe dwadzieścia sekund. A tam, gdzie potrzebujesz w ciągu sekundy wyrzucić setki, a nawet tysiąc perspektyw na potrzeby badania, przetestować tekst na publiczności albo uruchomić masową symulację za 31 halerzy na tysiąc osób, włączasz podgrzane dziesięcioosobowe paczki po angielsku, oddzielne shardy imion i dopiero czysty wynik tłumaczysz na ludzki język.
Jan Tyl