Rozebrałem automatyczny router OpenRoutera. A potem spróbowałem go pokonać
Kto decyduje, który model odpowie na twoje zapytanie? Zajrzałem do środka Auto Routera, zmierzyłem go na czeskich zadaniach i postawiłem przeciw niemu własne podejście: najpierw odpowiedzieć, potem sprawdzić.


Kiedy wysyłasz zapytanie do „automatycznego” modelu, ktoś musi za ciebie zdecydować, który model odpowie. Na powitanie wystarczy najtańszy, na dowód z teorii liczb już nie. OpenRouter ma do tego Auto Routera, a ja w Hyperprostorze mam własne rozwiązanie. Ciekawiło mnie, jak robią to oni, czego można się od nich nauczyć i czy potrafię to zrobić lepiej.
Router, który o sobie mówi prawie wszystko
OpenRouter potrafi dołączyć do odpowiedzi metadane o tym, jak podjął decyzję. Dzięki temu nie musiałem zgadywać, a rozbiór opiera się na ich własnych danych z ponad dwóch i pół tysiąca wywołań.
Co ustaliłem:
- Nie wybiera spośród setek modeli. Oferta przy jednej decyzji obejmuje od 13 do 14 modeli.
- Przed odpowiedzią zadaje małemu modelowi decyzyjnemu dziewięć pytań. Typ zadania (30 klas), trudność, wymaganą dokładność, długość wyniku, wrażliwość na szybkość i inne.
- Zwycięzcę losuje. Prawdopodobieństwo wyboru maleje z kwadratem szacowanej ceny. To samo zapytanie dostaje więc za każdym razem inny model; jedno moje zadanie rozwiązywały po kolei trzy różne.
- Limit długości odpowiedzi waży więcej niż samo zadanie. Ten sam dowód matematyczny dostał przy limicie do tysiąca tokenów najtańszą klasę modeli, a przy limicie czterech tysięcy najwyższą.
- Nie zna ryzyka. Zapytanie rodzica, którego dwuletnie dziecko połknęło baterię guzikową, ocenił jako średnio trudne i pilne, ale nie jako ryzykowne. Podobne zapytanie o dawkowanie leku dla dziecka skierował do jednego z najtańszych modeli. A pięćdziesięcioośmiolatka, który pytał, czy za radą doradcy bankowego ma wpłacić całe życiowe oszczędności, 3,2 miliona, naraz do jednego funduszu, obsłużył tańszym modelem jak zwykłą rozmowę.
- Czeski ocenia tak samo jak angielski. To dobra wiadomość.

Jak mierzyłem
Użyłem czterech rodzajów testów:
| Zestaw | Zakres | Do czego |
|---|---|---|
| Czeskie zadania kalibracyjne | 190 zadań w trzech zestawach | dokąd router kieruje zwykłe, trudne i ryzykowne zapytania |
| Zadania z weryfikowalnym wynikiem | 26 zadań, wielokrotnie | kto odpowiada poprawnie, za ile i jak szybko |
| Test kontrolerów | 439 odpowiedzi, w tym 89 błędnych | jak niezawodnie da się rozpoznać złą odpowiedź |
| Scenariusze rozmów | zadowolony użytkownik, powtarzana skarga, zmiana tematu | jak router zachowuje się w dłuższej rozmowie |
Zadania z weryfikowalnym wynikiem pisałem tak, żeby poprawną odpowiedź obliczał program, a nie sędzia. Na przykład:
- harmonogram siedmiu zleceń na dwóch maszynach z terminami i karami,
- kolejka wiadomości z ograniczeniem szybkości i ponawianiem nieudanych prób,
- kolejność wypisów w kodzie asynchronicznym,
- prawdopodobieństwo przy rzucie kostkami wyrażone dokładnym ułamkiem,
- zagadka logiczna z jedynym rozwiązaniem.
Na takich zadaniach nie da się odpowiedzieć „prawie trafnie”. Albo się zgadza, albo nie.
Czym się różnię
Konkurencyjny router decyduje z góry i na ślepo. Wybiera model, a czy trafił, już się nie dowie.
Ja w Hyperprostorze robię to odwrotnie: odpowiedź najpierw powstaje, a potem niezależny kontroler ją weryfikuje. Silny i drogi model wchodzi do gry tylko tam, gdzie kontrola nie przeszła. Zadanie rozwiązuje wtedy od początku i nie widzi pierwszej próby, bo zmierzyłem, że mając przed oczami błędną propozycję, często przejmuje jej błąd. Zapytania o poważnych konsekwencjach (zdrowie, pieniądze, prawo) trafiają od razu do silnego modelu.
W teście kontrolerów mój wychwycił 87 z 89 błędnych odpowiedzi.
Wyniki
Pierwsza runda: 16 zadań, każde wielokrotnie
| Mój router | Auto Router | |
|---|---|---|
| Poprawne odpowiedzi | 127 ze 128 | 60 z 64 |
| Odsetek błędów | 0,8 % | 6,3 % |
| Koszt poprawnej odpowiedzi | 0,035 USD | 0,037 USD |
To mniej więcej osiem razy mniej odpowiedzi błędnych lub niedokończonych przy tej samej cenie.
Druga runda: szybszy zestaw, 26 zadań
| Mój router | Auto Router | |
|---|---|---|
| Poprawne odpowiedzi | 78 z 78 | 90 z 94 |
| Koszt poprawnej odpowiedzi | 0,013 USD | 0,025 USD |
| Trudne zadania, mediana czasu odpowiedzi | 13 s | 17,5 s |
W pierwszej rundzie byłem dokładniejszy, ale wolniejszy. Okazało się, że nie spowalnia kontrola (około trzech i pół sekundy), tylko wybór pierwszego modelu. Po jego wymianie byłem szybszy i to za połowę ceny.

Czego te liczby nie mówią
- To mała próba. Jeden błąd przeciw czterem to wyraźna różnica, ale nie dowód statystyczny. Na tysiącach zadań proporcja może wyjść inaczej.
- Zadania są jednego rodzaju. O pisaniu tekstów, researchu czy długiej pracy z narzędziami test nic nie mówi.
- Czasy w drugiej rundzie są złożone z osobno zmierzonych kroków, a nie z ostrej eksploatacji.
Co od nich biorę
Router OpenRoutera jest dobrze zrobiony i kilka rzeczy chętnie od niego przejmę: potrafi utrzymać model przez całą rozmowę, pracuje na żywych cenach, a jego pytania o trudność i dokładność są stabilne. Część z nich dodam u siebie.
Losowania i zależności od limitu wyniku nie przejmuję. A kontrolę po odpowiedzi uważam za to główne, co mnie wyróżnia. W moim teście dzięki niej moje rozwiązanie wyszło przede wszystkim wyraźnie dokładniejsze, do tego tańsze, a w drugiej rundzie także szybsze.
Całe badanie kosztowało niecałe 30 dolarów.
Chwała zwycięzcom, cześć pokonanym.