Powrót do bloga
·Jan Tyl·4 min czytania

Rozebrałem automatyczny router OpenRoutera. A potem spróbowałem go pokonać

Kto decyduje, który model odpowie na twoje zapytanie? Zajrzałem do środka Auto Routera, zmierzyłem go na czeskich zadaniach i postawiłem przeciw niemu własne podejście: najpierw odpowiedzieć, potem sprawdzić.

Rozebrałem automatyczny router OpenRoutera. A potem spróbowałem go pokonać

Kiedy wysyłasz zapytanie do „automatycznego” modelu, ktoś musi za ciebie zdecydować, który model odpowie. Na powitanie wystarczy najtańszy, na dowód z teorii liczb już nie. OpenRouter ma do tego Auto Routera, a ja w Hyperprostorze mam własne rozwiązanie. Ciekawiło mnie, jak robią to oni, czego można się od nich nauczyć i czy potrafię to zrobić lepiej.

Router, który o sobie mówi prawie wszystko

OpenRouter potrafi dołączyć do odpowiedzi metadane o tym, jak podjął decyzję. Dzięki temu nie musiałem zgadywać, a rozbiór opiera się na ich własnych danych z ponad dwóch i pół tysiąca wywołań.

Co ustaliłem:

  • Nie wybiera spośród setek modeli. Oferta przy jednej decyzji obejmuje od 13 do 14 modeli.
  • Przed odpowiedzią zadaje małemu modelowi decyzyjnemu dziewięć pytań. Typ zadania (30 klas), trudność, wymaganą dokładność, długość wyniku, wrażliwość na szybkość i inne.
  • Zwycięzcę losuje. Prawdopodobieństwo wyboru maleje z kwadratem szacowanej ceny. To samo zapytanie dostaje więc za każdym razem inny model; jedno moje zadanie rozwiązywały po kolei trzy różne.
  • Limit długości odpowiedzi waży więcej niż samo zadanie. Ten sam dowód matematyczny dostał przy limicie do tysiąca tokenów najtańszą klasę modeli, a przy limicie czterech tysięcy najwyższą.
  • Nie zna ryzyka. Zapytanie rodzica, którego dwuletnie dziecko połknęło baterię guzikową, ocenił jako średnio trudne i pilne, ale nie jako ryzykowne. Podobne zapytanie o dawkowanie leku dla dziecka skierował do jednego z najtańszych modeli. A pięćdziesięcioośmiolatka, który pytał, czy za radą doradcy bankowego ma wpłacić całe życiowe oszczędności, 3,2 miliona, naraz do jednego funduszu, obsłużył tańszym modelem jak zwykłą rozmowę.
  • Czeski ocenia tak samo jak angielski. To dobra wiadomość.

Rodzic z dzieckiem przy okienku pocztowym dostaje najmniejszy numerek, czerwona nić prowadzi do oświetlonych drzwi

Jak mierzyłem

Użyłem czterech rodzajów testów:

ZestawZakresDo czego
Czeskie zadania kalibracyjne190 zadań w trzech zestawachdokąd router kieruje zwykłe, trudne i ryzykowne zapytania
Zadania z weryfikowalnym wynikiem26 zadań, wielokrotniekto odpowiada poprawnie, za ile i jak szybko
Test kontrolerów439 odpowiedzi, w tym 89 błędnychjak niezawodnie da się rozpoznać złą odpowiedź
Scenariusze rozmówzadowolony użytkownik, powtarzana skarga, zmiana tematujak router zachowuje się w dłuższej rozmowie

Zadania z weryfikowalnym wynikiem pisałem tak, żeby poprawną odpowiedź obliczał program, a nie sędzia. Na przykład:

  • harmonogram siedmiu zleceń na dwóch maszynach z terminami i karami,
  • kolejka wiadomości z ograniczeniem szybkości i ponawianiem nieudanych prób,
  • kolejność wypisów w kodzie asynchronicznym,
  • prawdopodobieństwo przy rzucie kostkami wyrażone dokładnym ułamkiem,
  • zagadka logiczna z jedynym rozwiązaniem.

Na takich zadaniach nie da się odpowiedzieć „prawie trafnie”. Albo się zgadza, albo nie.

Czym się różnię

Konkurencyjny router decyduje z góry i na ślepo. Wybiera model, a czy trafił, już się nie dowie.

Ja w Hyperprostorze robię to odwrotnie: odpowiedź najpierw powstaje, a potem niezależny kontroler ją weryfikuje. Silny i drogi model wchodzi do gry tylko tam, gdzie kontrola nie przeszła. Zadanie rozwiązuje wtedy od początku i nie widzi pierwszej próby, bo zmierzyłem, że mając przed oczami błędną propozycję, często przejmuje jej błąd. Zapytania o poważnych konsekwencjach (zdrowie, pieniądze, prawo) trafiają od razu do silnego modelu.

W teście kontrolerów mój wychwycił 87 z 89 błędnych odpowiedzi.

Wyniki

Pierwsza runda: 16 zadań, każde wielokrotnie

Mój routerAuto Router
Poprawne odpowiedzi127 ze 12860 z 64
Odsetek błędów0,8 %6,3 %
Koszt poprawnej odpowiedzi0,035 USD0,037 USD

To mniej więcej osiem razy mniej odpowiedzi błędnych lub niedokończonych przy tej samej cenie.

Druga runda: szybszy zestaw, 26 zadań

Mój routerAuto Router
Poprawne odpowiedzi78 z 7890 z 94
Koszt poprawnej odpowiedzi0,013 USD0,025 USD
Trudne zadania, mediana czasu odpowiedzi13 s17,5 s

W pierwszej rundzie byłem dokładniejszy, ale wolniejszy. Okazało się, że nie spowalnia kontrola (około trzech i pół sekundy), tylko wybór pierwszego modelu. Po jego wymianie byłem szybszy i to za połowę ceny.

Dwie tarcze: OpenRouter ze strzałami rozsianymi po brzegu, Hyperprostor ze strzałami w środku

Czego te liczby nie mówią

  • To mała próba. Jeden błąd przeciw czterem to wyraźna różnica, ale nie dowód statystyczny. Na tysiącach zadań proporcja może wyjść inaczej.
  • Zadania są jednego rodzaju. O pisaniu tekstów, researchu czy długiej pracy z narzędziami test nic nie mówi.
  • Czasy w drugiej rundzie są złożone z osobno zmierzonych kroków, a nie z ostrej eksploatacji.

Co od nich biorę

Router OpenRoutera jest dobrze zrobiony i kilka rzeczy chętnie od niego przejmę: potrafi utrzymać model przez całą rozmowę, pracuje na żywych cenach, a jego pytania o trudność i dokładność są stabilne. Część z nich dodam u siebie.

Losowania i zależności od limitu wyniku nie przejmuję. A kontrolę po odpowiedzi uważam za to główne, co mnie wyróżnia. W moim teście dzięki niej moje rozwiązanie wyszło przede wszystkim wyraźnie dokładniejsze, do tego tańsze, a w drugiej rundzie także szybsze.

Całe badanie kosztowało niecałe 30 dolarów.

Chwała zwycięzcom, cześć pokonanym.

Powiązane artykuły