Rozobral som automatický router OpenRoutera. A potom som ho skúsil poraziť
Kto rozhoduje, ktorý model odpovie na váš dopyt? Pozrel som sa dovnútra Auto Routera, zmeral som ho na českých úlohách a postavil som proti nemu vlastný prístup: najprv odpovedať, potom skontrolovať.


Keď pošlete dopyt „automatickému“ modelu, niekto za vás musí rozhodnúť, ktorý model odpovie. Na pozdrav stačí ten najlacnejší, na dôkaz z teórie čísel nie. OpenRouter na to má Auto Router, ja mám v Hyperprostore vlastné riešenie. Zaujímalo ma, ako to robia oni, čo sa od nich dá naučiť a či to viem lepšie.
Router, ktorý o sebe povie takmer všetko
OpenRouter vie k odpovedi pripojiť metadáta o tom, ako sa rozhodol. Vďaka tomu som nemusel hádať a rozbor stojí na ich vlastných dátach z viac než dvoch a pol tisícky volaní.
Čo som zistil:
- Nevyberá zo stoviek modelov. Ponuka pre jedno rozhodnutie má 13 až 14 modelov.
- Pred odpoveďou položí malému rozhodovaciemu modelu deväť otázok. Typ úlohy (30 tried), obtiažnosť, požadovaná presnosť, dĺžka výstupu, citlivosť na rýchlosť a ďalšie.
- Víťaza žrebuje. Pravdepodobnosť výberu klesá s druhou mocninou odhadovanej ceny. Rovnaký dopyt preto zakaždým dostane iný model; jednu moju úlohu riešili postupne traja rôzni.
- Limit dĺžky odpovede rozhoduje viac než úloha. Ten istý matematický dôkaz dostal s limitom do tisíc tokenov najlacnejšiu triedu modelov, s limitom štyroch tisíc tú najvyššiu.
- Nepozná riziko. Dopyt rodiča, ktorého dvojročné dieťa prehltlo gombíkovú batériu, vyhodnotil ako stredne ťažký a naliehavý, ale nie ako rizikový. Podobný dopyt na dávkovanie lieku dieťaťu poslal jednému z najlacnejších modelov. A päťdesiatosemročného človeka, ktorý sa pýtal, či má na radu bankového poradcu vložiť celoživotné úspory 3,2 milióna naraz do jediného fondu, odbavil lacnejším modelom ako bežnú konverzáciu.
- Češtinu hodnotí rovnako ako angličtinu. To je dobrá správa.

Ako som meral
Použil som štyri druhy testov:
| Sada | Rozsah | Na čo |
|---|---|---|
| České kalibračné úlohy | 190 úloh v troch sadách | kam router pošle bežné, ťažké a rizikové dopyty |
| Úlohy s overiteľným výsledkom | 26 úloh, opakovane | kto odpovie správne, za koľko a ako rýchlo |
| Test kontrolórov | 439 odpovedí, z toho 89 chybných | ako spoľahlivo sa dá spoznať zlá odpoveď |
| Scenáre konverzácií | spokojný používateľ, opakovaná sťažnosť, zmena témy | ako sa router správa v dlhšom rozhovore |
Úlohy s overiteľným výsledkom som písal tak, aby správnu odpoveď vypočítal program, nie porotca. Napríklad:
- rozvrh siedmich zákaziek na dvoch strojoch s termínmi a penále,
- front správ s obmedzením rýchlosti a opakovaním neúspešných pokusov,
- poradie výpisov v asynchrónnom kóde,
- pravdepodobnosť pri hádzaní kockami vyjadrená presným zlomkom,
- logická hádanka s jediným riešením.
Na takýchto úlohách sa odpoveď nedá „skoro trafiť“. Buď sedí, alebo nie.
Čím sa líšim
Konkurenčný router rozhoduje vopred a naslepo. Vyberie model, a či sa trafil, už nezistí.
Ja to v Hyperprostore robím naopak: odpoveď najprv vznikne a potom ju nezávislý kontrolór overí. Silný a drahý model prichádza na rad len tam, kde kontrola neprešla. Úlohu potom rieši znova od začiatku a prvý pokus nevidí, pretože som si zmeral, že s chybným návrhom pred očami chybu často prevezme. Dopyty s vážnymi následkami (zdravie, peniaze, právo) idú silnému modelu rovno.
V teste kontrolórov zachytil ten môj 87 z 89 chybných odpovedí.
Výsledky
Prvé kolo: 16 úloh, každá opakovane
| Môj router | Auto Router | |
|---|---|---|
| Správne odpovede | 127 zo 128 | 60 zo 64 |
| Chybovosť | 0,8 % | 6,3 % |
| Cena za správnu odpoveď | 0,035 USD | 0,037 USD |
To je zhruba osemkrát menej nesprávnych alebo nedokončených odpovedí pri rovnakej cene.
Druhé kolo: rýchlejšia zostava, 26 úloh
| Môj router | Auto Router | |
|---|---|---|
| Správne odpovede | 78 zo 78 | 90 z 94 |
| Cena za správnu odpoveď | 0,013 USD | 0,025 USD |
| Ťažké úlohy, medián odozvy | 13 s | 17,5 s |
V prvom kole som bol presnejší, ale pomalší. Ukázalo sa, že nezdržuje kontrola (okolo troch a pol sekundy), ale voľba prvého modelu. Po jeho výmene som bol rýchlejší a za polovičnú cenu.

Čo tie čísla nehovoria
- Je to malá vzorka. Jedna chyba oproti štyrom je výrazný rozdiel, ale nie štatistický dôkaz. Na tisíckach úloh môže pomer vyjsť inak.
- Úlohy sú jedného druhu. O písaní textov, rešerši alebo dlhej práci s nástrojmi test nič nehovorí.
- Časy v druhom kole sú zložené z jednotlivo zmeraných krokov, nie z ostrej prevádzky.
Čo si od nich beriem
Router OpenRoutera je dobre urobený a pár vecí si od neho rád vezmem: vie držať model počas celej konverzácie, pracuje so živými cenami a jeho otázky na obtiažnosť a presnosť sú stabilné. Časť z nich si pridám.
Žrebovanie a závislosť od limitu výstupu neprebieram. A kontrolu po odpovedi považujem za to hlavné, čo ma odlišuje. V mojom teste vďaka nej vyšlo moje riešenie predovšetkým výrazne presnejšie, k tomu lacnejšie a v druhom kole aj rýchlejšie.
Celý výskum stál necelých 30 dolárov.
Sláva víťazom, česť porazeným.