Späť na blog
·Jan Tyl·4 min čítania

Rozobral som automatický router OpenRoutera. A potom som ho skúsil poraziť

Kto rozhoduje, ktorý model odpovie na váš dopyt? Pozrel som sa dovnútra Auto Routera, zmeral som ho na českých úlohách a postavil som proti nemu vlastný prístup: najprv odpovedať, potom skontrolovať.

Rozobral som automatický router OpenRoutera. A potom som ho skúsil poraziť

Keď pošlete dopyt „automatickému“ modelu, niekto za vás musí rozhodnúť, ktorý model odpovie. Na pozdrav stačí ten najlacnejší, na dôkaz z teórie čísel nie. OpenRouter na to má Auto Router, ja mám v Hyperprostore vlastné riešenie. Zaujímalo ma, ako to robia oni, čo sa od nich dá naučiť a či to viem lepšie.

Router, ktorý o sebe povie takmer všetko

OpenRouter vie k odpovedi pripojiť metadáta o tom, ako sa rozhodol. Vďaka tomu som nemusel hádať a rozbor stojí na ich vlastných dátach z viac než dvoch a pol tisícky volaní.

Čo som zistil:

  • Nevyberá zo stoviek modelov. Ponuka pre jedno rozhodnutie má 13 až 14 modelov.
  • Pred odpoveďou položí malému rozhodovaciemu modelu deväť otázok. Typ úlohy (30 tried), obtiažnosť, požadovaná presnosť, dĺžka výstupu, citlivosť na rýchlosť a ďalšie.
  • Víťaza žrebuje. Pravdepodobnosť výberu klesá s druhou mocninou odhadovanej ceny. Rovnaký dopyt preto zakaždým dostane iný model; jednu moju úlohu riešili postupne traja rôzni.
  • Limit dĺžky odpovede rozhoduje viac než úloha. Ten istý matematický dôkaz dostal s limitom do tisíc tokenov najlacnejšiu triedu modelov, s limitom štyroch tisíc tú najvyššiu.
  • Nepozná riziko. Dopyt rodiča, ktorého dvojročné dieťa prehltlo gombíkovú batériu, vyhodnotil ako stredne ťažký a naliehavý, ale nie ako rizikový. Podobný dopyt na dávkovanie lieku dieťaťu poslal jednému z najlacnejších modelov. A päťdesiatosemročného človeka, ktorý sa pýtal, či má na radu bankového poradcu vložiť celoživotné úspory 3,2 milióna naraz do jediného fondu, odbavil lacnejším modelom ako bežnú konverzáciu.
  • Češtinu hodnotí rovnako ako angličtinu. To je dobrá správa.

Rodič s dieťaťom pri poštovej prepážke dostáva najmenší lístoček, červená niť vedie k osvetleným dverám

Ako som meral

Použil som štyri druhy testov:

SadaRozsahNa čo
České kalibračné úlohy190 úloh v troch sadáchkam router pošle bežné, ťažké a rizikové dopyty
Úlohy s overiteľným výsledkom26 úloh, opakovanekto odpovie správne, za koľko a ako rýchlo
Test kontrolórov439 odpovedí, z toho 89 chybnýchako spoľahlivo sa dá spoznať zlá odpoveď
Scenáre konverzáciíspokojný používateľ, opakovaná sťažnosť, zmena témyako sa router správa v dlhšom rozhovore

Úlohy s overiteľným výsledkom som písal tak, aby správnu odpoveď vypočítal program, nie porotca. Napríklad:

  • rozvrh siedmich zákaziek na dvoch strojoch s termínmi a penále,
  • front správ s obmedzením rýchlosti a opakovaním neúspešných pokusov,
  • poradie výpisov v asynchrónnom kóde,
  • pravdepodobnosť pri hádzaní kockami vyjadrená presným zlomkom,
  • logická hádanka s jediným riešením.

Na takýchto úlohách sa odpoveď nedá „skoro trafiť“. Buď sedí, alebo nie.

Čím sa líšim

Konkurenčný router rozhoduje vopred a naslepo. Vyberie model, a či sa trafil, už nezistí.

Ja to v Hyperprostore robím naopak: odpoveď najprv vznikne a potom ju nezávislý kontrolór overí. Silný a drahý model prichádza na rad len tam, kde kontrola neprešla. Úlohu potom rieši znova od začiatku a prvý pokus nevidí, pretože som si zmeral, že s chybným návrhom pred očami chybu často prevezme. Dopyty s vážnymi následkami (zdravie, peniaze, právo) idú silnému modelu rovno.

V teste kontrolórov zachytil ten môj 87 z 89 chybných odpovedí.

Výsledky

Prvé kolo: 16 úloh, každá opakovane

Môj routerAuto Router
Správne odpovede127 zo 12860 zo 64
Chybovosť0,8 %6,3 %
Cena za správnu odpoveď0,035 USD0,037 USD

To je zhruba osemkrát menej nesprávnych alebo nedokončených odpovedí pri rovnakej cene.

Druhé kolo: rýchlejšia zostava, 26 úloh

Môj routerAuto Router
Správne odpovede78 zo 7890 z 94
Cena za správnu odpoveď0,013 USD0,025 USD
Ťažké úlohy, medián odozvy13 s17,5 s

V prvom kole som bol presnejší, ale pomalší. Ukázalo sa, že nezdržuje kontrola (okolo troch a pol sekundy), ale voľba prvého modelu. Po jeho výmene som bol rýchlejší a za polovičnú cenu.

Dva terče: OpenRouter so šípmi rozosiatymi po okraji, Hyperprostor so šípmi v strede

Čo tie čísla nehovoria

  • Je to malá vzorka. Jedna chyba oproti štyrom je výrazný rozdiel, ale nie štatistický dôkaz. Na tisíckach úloh môže pomer vyjsť inak.
  • Úlohy sú jedného druhu. O písaní textov, rešerši alebo dlhej práci s nástrojmi test nič nehovorí.
  • Časy v druhom kole sú zložené z jednotlivo zmeraných krokov, nie z ostrej prevádzky.

Čo si od nich beriem

Router OpenRoutera je dobre urobený a pár vecí si od neho rád vezmem: vie držať model počas celej konverzácie, pracuje so živými cenami a jeho otázky na obtiažnosť a presnosť sú stabilné. Časť z nich si pridám.

Žrebovanie a závislosť od limitu výstupu neprebieram. A kontrolu po odpovedi považujem za to hlavné, čo ma odlišuje. V mojom teste vďaka nej vyšlo moje riešenie predovšetkým výrazne presnejšie, k tomu lacnejšie a v druhom kole aj rýchlejšie.

Celý výskum stál necelých 30 dolárov.

Sláva víťazom, česť porazeným.

Súvisiace články