Rozebral jsem automatický router OpenRouteru. A pak jsem ho zkusil porazit
Kdo rozhoduje, který model odpoví na váš dotaz? Podíval jsem se dovnitř Auto Routeru, změřil ho na českých úlohách a postavil proti němu vlastní přístup: nejdřív odpovědět, pak zkontrolovat.


Když pošlete dotaz „automatickému“ modelu, někdo za vás musí rozhodnout, který model odpoví. Na pozdrav stačí ten nejlevnější, na důkaz z teorie čísel ne. OpenRouter na to má Auto Router, já mám v Hyperprostoru vlastní řešení. Zajímalo mě, jak to dělají oni, co se od nich dá naučit a jestli to umím lépe.
Router, který o sobě řekne skoro všechno
OpenRouter umí k odpovědi přiložit metadata o tom, jak se rozhodl. Díky tomu jsem nemusel hádat a rozbor stojí na jejich vlastních datech z více než dvou a půl tisíce volání.
Co jsem zjistil:
- Nevybírá ze stovek modelů. Nabídka pro jedno rozhodnutí má 13 až 14 modelů.
- Před odpovědí položí malému rozhodovacímu modelu devět otázek. Typ úlohy (30 tříd), obtížnost, požadovaná přesnost, délka výstupu, citlivost na rychlost a další.
- Vítěze losuje. Pravděpodobnost výběru klesá s druhou mocninou odhadované ceny. Stejný dotaz proto pokaždé dostane jiný model; jednu moji úlohu řešily postupně tři různé.
- Limit délky odpovědi rozhoduje víc než úloha. Tentýž matematický důkaz dostal s limitem do tisíce tokenů nejlevnější třídu modelů, s limitem čtyř tisíc tu nejvyšší.
- Nezná riziko. Dotaz rodiče, jehož dvouleté dítě spolklo knoflíkovou baterii, vyhodnotil jako středně těžký a naléhavý, ale ne jako rizikový. Podobný dotaz na dávkování léku dítěti poslal jednomu z nejlevnějších modelů. A osmapadesátiletého člověka, který se ptal, jestli má na radu bankovního poradce vložit celoživotní úspory 3,2 milionu najednou do jediného fondu, odbavil levnějším modelem jako běžnou konverzaci.
- Češtinu hodnotí stejně jako angličtinu. To je dobrá zpráva.

Jak jsem měřil
Použil jsem čtyři druhy testů:
| Sada | Rozsah | K čemu |
|---|---|---|
| České kalibrační úlohy | 190 úloh ve třech sadách | kam router pošle běžné, těžké a rizikové dotazy |
| Úlohy s ověřitelným výsledkem | 26 úloh, opakovaně | kdo odpoví správně, za kolik a jak rychle |
| Test kontrolorů | 439 odpovědí, z toho 89 chybných | jak spolehlivě jde poznat špatnou odpověď |
| Scénáře konverzací | spokojený uživatel, opakovaná stížnost, změna tématu | jak se router chová v delším rozhovoru |
Úlohy s ověřitelným výsledkem jsem psal tak, aby správnou odpověď spočítal program, ne porotce. Například:
- rozvrh sedmi zakázek na dvou strojích s termíny a penále,
- fronta zpráv s omezením rychlosti a opakováním neúspěšných pokusů,
- pořadí výpisů v asynchronním kódu,
- pravděpodobnost při házení kostkami vyjádřená přesným zlomkem,
- logická hádanka s jediným řešením.
Na takových úlohách nejde odpověď „skoro trefit“. Buď sedí, nebo ne.
Čím se liším
Konkurenční router rozhoduje předem a naslepo. Vybere model, a jestli se trefil, už nezjistí.
Já to v Hyperprostoru dělám obráceně: odpověď nejdřív vznikne, a pak ji nezávislý kontrolor ověří. Silný a drahý model přichází na řadu jen tam, kde kontrola neprošla. Úlohu pak řeší znovu od začátku a první pokus nevidí, protože jsem si změřil, že s chybným návrhem před očima chybu často převezme. Dotazy s vážnými následky (zdraví, peníze, právo) jdou silnému modelu rovnou.
V testu kontrolorů zachytil ten můj 87 z 89 chybných odpovědí.
Výsledky
První kolo: 16 úloh, každá opakovaně
| Můj router | Auto Router | |
|---|---|---|
| Správné odpovědi | 127 ze 128 | 60 ze 64 |
| Chybovost | 0,8 % | 6,3 % |
| Cena za správnou odpověď | 0,035 USD | 0,037 USD |
To je zhruba osmkrát méně nesprávných nebo nedokončených odpovědí při stejné ceně.
Druhé kolo: rychlejší sestava, 26 úloh
| Můj router | Auto Router | |
|---|---|---|
| Správné odpovědi | 78 ze 78 | 90 z 94 |
| Cena za správnou odpověď | 0,013 USD | 0,025 USD |
| Těžké úlohy, medián odezvy | 13 s | 17,5 s |
V prvním kole jsem byl přesnější, ale pomalejší. Ukázalo se, že nezdržuje kontrola (kolem tří a půl sekundy), ale volba prvního modelu. Po jeho výměně jsem byl rychlejší a za poloviční cenu.

Co ta čísla neříkají
- Je to malý vzorek. Jedna chyba proti čtyřem je výrazný rozdíl, ale ne statistický důkaz. Na tisících úloh může poměr vyjít jinak.
- Úlohy jsou jednoho druhu. O psaní textů, rešerších nebo dlouhé práci s nástroji test nic neříká.
- Časy ve druhém kole jsou složené z jednotlivě změřených kroků, ne z ostrého provozu.
Co si od nich beru
Router OpenRouteru je dobře udělaný a pár věcí si od něj rád vezmu: umí držet model po celou konverzaci, pracuje s živými cenami a jeho otázky na obtížnost a přesnost jsou stabilní. Část z nich si přidám.
Losování a závislost na limitu výstupu nepřebírám. A kontrolu po odpovědi považuji za to hlavní, co mě odlišuje. V mém testu díky ní vyšlo moje řešení především výrazně přesnější, k tomu levnější a ve druhém kole i rychlejší.
Celý výzkum stál necelých 30 dolarů.
Sláva vítězům, čest poraženým.