Zurück zum Blog
·Jan Tyl·5 min Lesezeit

Ich habe den automatischen Router von OpenRouter auseinandergenommen. Und dann versucht, ihn zu schlagen

Wer entscheidet, welches Modell auf Ihre Anfrage antwortet? Ich habe mir den Auto Router von innen angesehen, ihn an tschechischen Aufgaben gemessen und ihm meinen eigenen Ansatz gegenübergestellt: erst antworten, dann prüfen.

Ich habe den automatischen Router von OpenRouter auseinandergenommen. Und dann versucht, ihn zu schlagen

Wenn Sie eine Anfrage an ein „automatisches“ Modell schicken, muss jemand für Sie entscheiden, welches Modell antwortet. Für eine Begrüßung reicht das günstigste, für einen Beweis aus der Zahlentheorie nicht. OpenRouter hat dafür den Auto Router, ich habe in Hyperprostor eine eigene Lösung. Mich hat interessiert, wie die anderen es machen, was man von ihnen lernen kann und ob ich es besser kann.

Ein Router, der fast alles über sich verrät

OpenRouter kann der Antwort Metadaten darüber beilegen, wie die Entscheidung gefallen ist. Dadurch musste ich nicht raten, und die Analyse stützt sich auf deren eigene Daten aus mehr als zweieinhalbtausend Aufrufen.

Das habe ich herausgefunden:

  • Er wählt nicht aus Hunderten von Modellen. Das Angebot für eine einzelne Entscheidung umfasst 13 bis 14 Modelle.
  • Vor der Antwort stellt er einem kleinen Entscheidungsmodell neun Fragen. Aufgabentyp (30 Klassen), Schwierigkeit, erforderliche Genauigkeit, Länge der Ausgabe, Geschwindigkeitsempfindlichkeit und weitere.
  • Den Gewinner lost er aus. Die Auswahlwahrscheinlichkeit sinkt mit dem Quadrat des geschätzten Preises. Dieselbe Anfrage bekommt deshalb jedes Mal ein anderes Modell; eine meiner Aufgaben haben nacheinander drei verschiedene gelöst.
  • Das Längenlimit der Antwort entscheidet mehr als die Aufgabe. Denselben mathematischen Beweis bekam mit einem Limit von bis zu tausend Token die günstigste Modellklasse, mit einem Limit von viertausend die höchste.
  • Er kennt kein Risiko. Die Anfrage eines Elternteils, dessen zweijähriges Kind eine Knopfzelle verschluckt hat, stufte er als mittelschwer und dringend ein, aber nicht als riskant. Eine ähnliche Frage zur Dosierung eines Medikaments für ein Kind schickte er an eines der günstigsten Modelle. Und einen Achtundfünfzigjährigen, der fragte, ob er auf den Rat eines Bankberaters hin seine gesamten Lebensersparnisse von 3,2 Millionen auf einmal in einen einzigen Fonds stecken soll, fertigte er mit einem günstigeren Modell als normale Unterhaltung ab.
  • Tschechisch bewertet er genauso wie Englisch. Das ist eine gute Nachricht.

Ein Elternteil mit Kind am Postschalter bekommt den kleinsten Zettel, ein roter Faden führt zu einer beleuchteten Tür

Wie ich gemessen habe

Ich habe vier Arten von Tests verwendet:

TestreiheUmfangWozu
Tschechische Kalibrierungsaufgaben190 Aufgaben in drei Reihenwohin der Router gewöhnliche, schwere und riskante Anfragen schickt
Aufgaben mit überprüfbarem Ergebnis26 Aufgaben, wiederholtwer richtig antwortet, zu welchem Preis und wie schnell
Test der Prüfer439 Antworten, davon 89 fehlerhaftewie zuverlässig sich eine falsche Antwort erkennen lässt
Gesprächsszenarienzufriedener Nutzer, wiederholte Beschwerde, Themenwechselwie sich der Router in einem längeren Gespräch verhält

Die Aufgaben mit überprüfbarem Ergebnis habe ich so geschrieben, dass die richtige Antwort ein Programm berechnet und nicht ein Juror. Zum Beispiel:

  • ein Ablaufplan für sieben Aufträge auf zwei Maschinen mit Terminen und Vertragsstrafen,
  • eine Nachrichtenwarteschlange mit Ratenbegrenzung und Wiederholung fehlgeschlagener Versuche,
  • die Reihenfolge von Ausgaben in asynchronem Code,
  • eine Wahrscheinlichkeit beim Würfeln, angegeben als exakter Bruch,
  • ein Logikrätsel mit genau einer Lösung.

Bei solchen Aufgaben kann man die Antwort nicht „fast treffen“. Sie stimmt oder sie stimmt nicht.

Worin ich mich unterscheide

Der Konkurrenz-Router entscheidet im Voraus und blind. Er wählt ein Modell aus und erfährt nie, ob er richtig lag.

Ich mache es in Hyperprostor umgekehrt: Die Antwort entsteht zuerst, und dann prüft sie ein unabhängiger Prüfer. Das starke und teure Modell kommt nur dort zum Zug, wo die Prüfung nicht bestanden wurde. Es löst die Aufgabe dann von Grund auf neu und sieht den ersten Versuch nicht, denn ich habe gemessen, dass es mit einem fehlerhaften Entwurf vor Augen den Fehler oft übernimmt. Anfragen mit ernsten Folgen (Gesundheit, Geld, Recht) gehen gleich an das starke Modell.

Im Test der Prüfer fing meiner 87 von 89 fehlerhaften Antworten ab.

Ergebnisse

Erste Runde: 16 Aufgaben, jede wiederholt

Mein RouterAuto Router
Richtige Antworten127 von 12860 von 64
Fehlerquote0,8 %6,3 %
Preis pro richtige Antwort0,035 USD0,037 USD

Das sind ungefähr achtmal weniger falsche oder nicht abgeschlossene Antworten bei gleichem Preis.

Zweite Runde: schnellere Konfiguration, 26 Aufgaben

Mein RouterAuto Router
Richtige Antworten78 von 7890 von 94
Preis pro richtige Antwort0,013 USD0,025 USD
Schwere Aufgaben, Median der Antwortzeit13 s17,5 s

In der ersten Runde war ich genauer, aber langsamer. Es zeigte sich, dass nicht die Prüfung bremst (rund dreieinhalb Sekunden), sondern die Wahl des ersten Modells. Nachdem ich es ausgetauscht hatte, war ich schneller und zum halben Preis.

Zwei Zielscheiben: OpenRouter mit Pfeilen, die am Rand verstreut stecken, Hyperprostor mit Pfeilen in der Mitte

Was die Zahlen nicht sagen

  • Die Stichprobe ist klein. Ein Fehler gegenüber vieren ist ein deutlicher Unterschied, aber kein statistischer Beweis. Bei Tausenden von Aufgaben kann das Verhältnis anders ausfallen.
  • Die Aufgaben sind von einer Art. Über das Schreiben von Texten, Recherchen oder lange Arbeit mit Werkzeugen sagt der Test nichts.
  • Die Zeiten in der zweiten Runde sind zusammengesetzt aus einzeln gemessenen Schritten, nicht aus dem echten Betrieb.

Was ich von ihnen übernehme

Der Router von OpenRouter ist gut gemacht, und ein paar Dinge übernehme ich gern von ihm: Er kann ein Modell über das ganze Gespräch hinweg halten, arbeitet mit Live-Preisen, und seine Fragen zu Schwierigkeit und Genauigkeit sind stabil. Einen Teil davon füge ich bei mir hinzu.

Das Losen und die Abhängigkeit vom Ausgabelimit übernehme ich nicht. Und die Prüfung nach der Antwort halte ich für das Wichtigste, was mich unterscheidet. In meinem Test ist meine Lösung dadurch vor allem deutlich genauer ausgefallen, dazu günstiger und in der zweiten Runde auch schneller.

Die gesamte Untersuchung kostete knapp 30 Dollar.

Ruhm den Siegern, Ehre den Besiegten.

Weitere Artikel