Zpět na blog
·Jan Tyl·4 min čtení

Rozebral jsem automatický router OpenRouteru. A pak jsem ho zkusil porazit

Kdo rozhoduje, který model odpoví na váš dotaz? Podíval jsem se dovnitř Auto Routeru, změřil ho na českých úlohách a postavil proti němu vlastní přístup: nejdřív odpovědět, pak zkontrolovat.

Rozebral jsem automatický router OpenRouteru. A pak jsem ho zkusil porazit

Když pošlete dotaz „automatickému“ modelu, někdo za vás musí rozhodnout, který model odpoví. Na pozdrav stačí ten nejlevnější, na důkaz z teorie čísel ne. OpenRouter na to má Auto Router, já mám v Hyperprostoru vlastní řešení. Zajímalo mě, jak to dělají oni, co se od nich dá naučit a jestli to umím lépe.

Router, který o sobě řekne skoro všechno

OpenRouter umí k odpovědi přiložit metadata o tom, jak se rozhodl. Díky tomu jsem nemusel hádat a rozbor stojí na jejich vlastních datech z více než dvou a půl tisíce volání.

Co jsem zjistil:

  • Nevybírá ze stovek modelů. Nabídka pro jedno rozhodnutí má 13 až 14 modelů.
  • Před odpovědí položí malému rozhodovacímu modelu devět otázek. Typ úlohy (30 tříd), obtížnost, požadovaná přesnost, délka výstupu, citlivost na rychlost a další.
  • Vítěze losuje. Pravděpodobnost výběru klesá s druhou mocninou odhadované ceny. Stejný dotaz proto pokaždé dostane jiný model; jednu moji úlohu řešily postupně tři různé.
  • Limit délky odpovědi rozhoduje víc než úloha. Tentýž matematický důkaz dostal s limitem do tisíce tokenů nejlevnější třídu modelů, s limitem čtyř tisíc tu nejvyšší.
  • Nezná riziko. Dotaz rodiče, jehož dvouleté dítě spolklo knoflíkovou baterii, vyhodnotil jako středně těžký a naléhavý, ale ne jako rizikový. Podobný dotaz na dávkování léku dítěti poslal jednomu z nejlevnějších modelů. A osmapadesátiletého člověka, který se ptal, jestli má na radu bankovního poradce vložit celoživotní úspory 3,2 milionu najednou do jediného fondu, odbavil levnějším modelem jako běžnou konverzaci.
  • Češtinu hodnotí stejně jako angličtinu. To je dobrá zpráva.

Rodič s dítětem u poštovní přepážky dostává nejmenší lísteček, červená nit vede k osvětleným dveřím

Jak jsem měřil

Použil jsem čtyři druhy testů:

SadaRozsahK čemu
České kalibrační úlohy190 úloh ve třech sadáchkam router pošle běžné, těžké a rizikové dotazy
Úlohy s ověřitelným výsledkem26 úloh, opakovaněkdo odpoví správně, za kolik a jak rychle
Test kontrolorů439 odpovědí, z toho 89 chybnýchjak spolehlivě jde poznat špatnou odpověď
Scénáře konverzacíspokojený uživatel, opakovaná stížnost, změna tématujak se router chová v delším rozhovoru

Úlohy s ověřitelným výsledkem jsem psal tak, aby správnou odpověď spočítal program, ne porotce. Například:

  • rozvrh sedmi zakázek na dvou strojích s termíny a penále,
  • fronta zpráv s omezením rychlosti a opakováním neúspěšných pokusů,
  • pořadí výpisů v asynchronním kódu,
  • pravděpodobnost při házení kostkami vyjádřená přesným zlomkem,
  • logická hádanka s jediným řešením.

Na takových úlohách nejde odpověď „skoro trefit“. Buď sedí, nebo ne.

Čím se liším

Konkurenční router rozhoduje předem a naslepo. Vybere model, a jestli se trefil, už nezjistí.

Já to v Hyperprostoru dělám obráceně: odpověď nejdřív vznikne, a pak ji nezávislý kontrolor ověří. Silný a drahý model přichází na řadu jen tam, kde kontrola neprošla. Úlohu pak řeší znovu od začátku a první pokus nevidí, protože jsem si změřil, že s chybným návrhem před očima chybu často převezme. Dotazy s vážnými následky (zdraví, peníze, právo) jdou silnému modelu rovnou.

V testu kontrolorů zachytil ten můj 87 z 89 chybných odpovědí.

Výsledky

První kolo: 16 úloh, každá opakovaně

Můj routerAuto Router
Správné odpovědi127 ze 12860 ze 64
Chybovost0,8 %6,3 %
Cena za správnou odpověď0,035 USD0,037 USD

To je zhruba osmkrát méně nesprávných nebo nedokončených odpovědí při stejné ceně.

Druhé kolo: rychlejší sestava, 26 úloh

Můj routerAuto Router
Správné odpovědi78 ze 7890 z 94
Cena za správnou odpověď0,013 USD0,025 USD
Těžké úlohy, medián odezvy13 s17,5 s

V prvním kole jsem byl přesnější, ale pomalejší. Ukázalo se, že nezdržuje kontrola (kolem tří a půl sekundy), ale volba prvního modelu. Po jeho výměně jsem byl rychlejší a za poloviční cenu.

Dva terče: OpenRouter se šípy rozesetými po okraji, Hyperprostor se šípy ve středu

Co ta čísla neříkají

  • Je to malý vzorek. Jedna chyba proti čtyřem je výrazný rozdíl, ale ne statistický důkaz. Na tisících úloh může poměr vyjít jinak.
  • Úlohy jsou jednoho druhu. O psaní textů, rešerších nebo dlouhé práci s nástroji test nic neříká.
  • Časy ve druhém kole jsou složené z jednotlivě změřených kroků, ne z ostrého provozu.

Co si od nich beru

Router OpenRouteru je dobře udělaný a pár věcí si od něj rád vezmu: umí držet model po celou konverzaci, pracuje s živými cenami a jeho otázky na obtížnost a přesnost jsou stabilní. Část z nich si přidám.

Losování a závislost na limitu výstupu nepřebírám. A kontrolu po odpovědi považuji za to hlavní, co mě odlišuje. V mém testu díky ní vyšlo moje řešení především výrazně přesnější, k tomu levnější a ve druhém kole i rychlejší.

Celý výzkum stál necelých 30 dolarů.

Sláva vítězům, čest poraženým.

Související články