Benchmark für AI Model Routing: Kosten pro Aufgabe schlagen Kosten pro Token

Die Kosten pro Token geben an, was ein Modell berechnet, nicht aber, was es kostet, einen Auftrag abzuschließen. Ein AI-Modell-Routing-Benchmark, der auf den Kosten pro Aufgabe basiert, misst die Gesamtausgaben, um ein korrektes, nutzbares Ergebnis zu erzielen – einschließlich Wiederholungsversuchen, Kontextlänge und Ausgabeverboseness. Das ist die Zahl, die tatsächlich auf Ihrer Rechnung erscheint.

Wichtige Erkenntnisse

• Die Kosten pro Token ignorieren Wiederholungsversuche, Verboseness und fehlgeschlagene Abschlüsse, die allesamt den tatsächlichen Preis einer Aufgabe verändern.
• Die Kosten pro Aufgabe normalisieren die Ausgabelänge und Erfolgsquote, was Vergleiche zwischen Modellen sinnvoll macht.
• Routing-Logik, die Modelle nach Aufgabentyp auswählt und nicht nach dem niedrigsten gelisteten Tarif, senkt die Gesamtausgaben in der Regel stärker als der Wechsel zu einem einzelnen „billigen“ Modell.
• Das Benchmarking der eigenen Arbeitslast ist zuverlässiger als das Vertrauen auf die veröffentlichte Preisliste eines Anbieters, da Programmier-, Video- und Bildaufgaben unterschiedliche Fehler- und Wiederholungsprofile aufweisen.

Warum Kosten pro Token die falsche Kennzahl sind

Die Token-Preisgestaltung ist die Einheit, die Ökonomen lieben und Produktteams missbrauchen. Ein Modell mit einem Preis von 0,15 $ pro Million Eingabe-Token sieht billiger aus als eines mit 0,50 $, aber dieser Vergleich gilt nur, wenn beide Modelle die gleiche Ausgabelänge erzeugen und beim ersten Versuch erfolgreich sind.

In der Praxis ist das selten der Fall. Ein wortreiches Modell, das Antworten mit erklärendem Text aufbläht, kann dreimal so viele Ausgabe-Token verbrauchen wie ein prägnanteres, selbst wenn beide die gleiche Frage gestellt bekommen. Ein Modell mit einer niedrigeren Reasoning-Obergrenze bei mehrstufigen Programmieraufgaben erfordert oft zwei oder drei Wiederholungsversuche, um ein kompilierbares Ergebnis zu erhalten, wobei jeder Wiederholungsversuch das vollständige Kontextfenster erneut sendet. Der Blog von Fireworks AI hat dieses Muster wiederholt dokumentiert, wenn durchsatzoptimierte mit genauigkeitsoptimierten Modellvarianten verglichen wurden, und festgestellt, dass der rohe Token-Preis und der effektive Aufgabenpreis auseinanderklaffen, sobald die Wiederholungsraten berücksichtigt werden (fireworks.ai/blog, beobachtet am 07.07.2026).

Das Ergebnis: Teams, die Modelle rein nach gelisteten Token-Preisen auswählen, zahlen häufig mehr pro abgeschlossener Aufgabe als Teams, die nach der Erfolgsquote der Aufgabe auswählen, da fehlgeschlagene Versuche immer noch Token verbrauchen und einen durch Latenz bedingten technischen Mehraufwand verursachen.

Was Kosten pro Aufgabe tatsächlich messen

Die Kosten pro Aufgabe sind eine abgeleitete Kennzahl:

Kosten pro Aufgabe = (Eingabe-Token x Eingaberate + Ausgabe-Token x Ausgaberate) x durchschnittliche Versuche bis zum Erfolg

Der Term „durchschnittliche Versuche bis zum Erfolg“ ist der Teil, den Vergleiche von Token-Raten komplett ignorieren. Er erfordert, dass Sie definieren, was Erfolg für Ihre Arbeitslast bedeutet: das Bestehen einer Testsuite, die Übereinstimmung mit einem JSON-Schema, das Rendern eines nutzbaren Bildes oder das Erreichen eines Qualitätsschwellenwerts bei einer Videogenerierung.

Deshalb ist ein direkter Preisvergleich, wie man ihn von einem generischen Preisvergleich erhält, ein Ausgangspunkt, aber keine endgültige Antwort. Er sagt Ihnen, was jeder Anbieter pro Token berechnet. Er sagt Ihnen nicht, wie viele Token Ihr spezifischer Aufgabentyp im Durchschnitt benötigt oder wie oft ein bestimmtes Modell einen zweiten Durchgang braucht.

Benchmark-Setup: Vergleich von Modellen über Aufgabentypen hinweg

Ein nützlicher Routing-Benchmark trennt Arbeitslasten nach Aufgabenkategorie, da sich Fehlermodi und Verboseness zwischen ihnen stark unterscheiden.

Aufgabentyp	Hauptkostentreiber	Typischer Fehlermodus	Wo aktuelle Modelle prüfen
Codegenerierung	Wiederholungsrate bei Kompilier-/Testfehlern	Logikfehler, unvollständige Funktionen	beste AI-Modelle für Coding
Langform-Text	Verboseness der Ausgabe-Token	Fülltext, Abdriften vom Thema	OpenRouter-Vergleich
Bildgenerierung	Pauschalpreis pro Bild vs. Auflösungsstufen	Fehlinterpretation des Prompts, Notwendigkeit der Neugenerierung	beste AI-Bildmodelle
Videogenerierung	Renderkosten pro Sekunde	Artefaktbildung erfordert Neu-Rendering	beste AI-Videomodelle

Führen Sie für Text- und Codeaufgaben jedes Kandidatenmodell gegen eine feste Menge repräsentativer Prompts aus, die aus Ihren eigenen Protokollen stammen, nicht aus generischen Benchmark-Suiten. Verfolgen Sie drei Zahlen pro Modell: durchschnittliche Eingabe-Token, durchschnittliche Ausgabe-Token und Erfolgsquote beim ersten Versuch. Multiplizieren Sie dies mit der oben genannten Formel unter Verwendung der aktuell veröffentlichten Raten, die Sie direkt überprüfen sollten, da sich die Preise bei den Anbietern häufig ändern. Das TokenLab-Modellverzeichnis listet aktuelle Raten und Kontextfenster verschiedener Anbieter an einem Ort auf, was nützlich ist, um Basiswerte zu ermitteln, bevor Sie Ihre eigenen Tests durchführen (tokenlab.sh/en/models, beobachtet am 07.07.2026).

Bei Bild- und Videoaufgaben ist die Mathematik einfacher, da die Preisgestaltung normalerweise pro Ausgabeeinheit und nicht pro Token erfolgt, aber das gleiche Prinzip gilt: Ein Modell mit einem niedrigeren Preis pro Bild, aber einer höheren Neugenerierungsrate aufgrund von Fehlinterpretationen des Prompts, kann pro akzeptierter Ausgabe mehr kosten.

Routing-Strategien zur Senkung der Kosten pro Aufgabe

Sobald Sie die Kosten pro Aufgabe für eine Handvoll Modelle haben, werden Routing-Entscheidungen mechanisch, anstatt eine Frage der Wahl eines bevorzugten Anbieters zu sein.

Routen Sie nach Aufgabenkategorie, nicht nach Standardmodell. Programmieraufgaben und Langform-Schreibaufgaben haben selbst innerhalb des Portfolios desselben Anbieters unterschiedliche optimale Modelle. Ein Router, der alles an ein Standardmodell sendet, lässt Einsparungen liegen, wenn dieses Modell für einfache Aufgaben überdimensioniert und für komplexe unterdimensioniert ist.

Legen Sie ein Wiederholungsbudget pro Aufgabentyp fest. Wenn ein Aufgabentyp eine Erfolgsquote beim ersten Versuch unter Ihrem Schwellenwert aufweist, begrenzen Sie die Wiederholungsversuche und greifen Sie auf ein stärkeres, teureres Modell zurück, anstatt unbegrenzt beim billigeren Modell zu bleiben. Drei fehlgeschlagene Versuche bei einem billigen Modell können mehr kosten als ein erfolgreicher Versuch bei einem teureren.

Begrenzen Sie die Ausgabelänge, wo Verboseness keinen Mehrwert bietet. Beschränken Sie bei strukturierten Ausgaben wie JSON, Code-Diffs oder API-Antworten die maximalen Token oder verwenden Sie System-Prompts, die eine prägnante Ausgabe anweisen. Dies reduziert direkt den Ausgabe-Token-Term in der Kosten-pro-Aufgabe-Formel, ohne das Modell zu ändern.

Führen Sie vierteljährlich ein Re-Benchmarking durch. Die Preise der Anbieter und Modellversionen ändern sich oft genug, sodass eine vor sechs Monaten eingerichtete Routing-Konfiguration möglicherweise nicht mehr den günstigsten Pfad pro Aufgabe widerspiegelt. Eine Live-Ansicht der Modell-Bestenliste macht es einfacher zu erkennen, wann ein neues Modell das Ranking der Kosten pro Aufgabe für eine bestimmte Kategorie verschiebt.

Checkliste: Bewertung eines Modell-Routers für Kosten pro Aufgabe

Verwenden Sie dies, bevor Sie sich für eine Routing-Konfiguration entscheiden:

• Aktuelle Token-/Ausgaberaten direkt vom Anbieter abgerufen, nicht aus dem Gedächtnis oder einem alten Vergleichsbeitrag
• Mindestens 20 repräsentative Prompts pro Aufgabenkategorie durch jedes Kandidatenmodell laufen lassen
• Durchschnittliche Eingabe-Token, durchschnittliche Ausgabe-Token und Erfolgsquote beim ersten Versuch pro Modell und Aufgabentyp protokolliert
• Kosten pro Aufgabe unter Verwendung der um Wiederholungsversuche bereinigten Formel berechnet, nicht anhand der rohen Token-Rate
• Wiederholungslimit pro Aufgabenkategorie mit einem definierten Fallback-Modell festgelegt
• Maximale Ausgabe-Token für strukturierte oder Kurzantwort-Aufgabentypen begrenzt
• Wiederkehrende Überprüfung (monatlich oder vierteljährlich) geplant, um Rankings bei Modell- und Preisaktualisierungen erneut zu prüfen

Evidenzgrundlage

Die Forschung zum Modell-Routing ist am stärksten, wenn sie drei Arten von Nachweisen kombiniert. Öffentliche Modellverzeichnisse und offizielle Preisseiten zeigen Ihnen den Stückpreis und die Verfügbarkeit zu einem bestimmten Zeitpunkt. Unabhängige Leistungsquellen, wie Artificial Analysis, helfen dabei, Geschwindigkeit, Latenz und breite Qualitätssignale aufzudecken. Router-Forschung, einschließlich RouteLLM, erklärt, warum eine Routing-Richtlinie Kosten senken kann, während eine akzeptable Qualität erhalten bleibt, aber sie hängt immer noch von arbeitslastspezifischen Labels und Bewertungsdaten ab.

Kopieren Sie kein veröffentlichtes Routing-Ergebnis als universelle Sparschätzung in Ihren eigenen Stack. Die wirklichen Einsparungen ergeben sich aus Ihrem Prompt-Mix, der Erfolgsdefinition, dem Wiederholungsbudget und der Fallback-Richtlinie. Ein Kundensupport-Klassifikator, ein Coding-Agent und ein Video-Job-Orchestrator haben alle unterschiedliche Fehlerkosten. Betrachten Sie die hier zitierten Quellen als Gerüst für Ihr eigenes Benchmark-Design: Sie erklären, was zu messen ist, während Ihre Protokolle und Ihr Eval-Set entscheiden, welches Modell tatsächlich gewinnt.

FAQ

Bedeutet ein niedrigerer Preis pro Token immer niedrigere Kosten pro Aufgabe? Nein. Die Wiederholungsrate und die Verboseness der Ausgabe können einen niedrigeren Token-Preis vollständig ausgleichen. Ein Modell, das pro Token teurer ist, aber eine höhere Erfolgsquote beim ersten Versuch und einen prägnanteren Ausgabestil aufweist, kostet häufig weniger pro abgeschlossener Aufgabe. Testen Sie beides mit Ihren eigenen Prompts, bevor Sie davon ausgehen, dass der günstigere Tarif gewinnt.

Wie viele Test-Prompts benötige ich, bevor ich einer Zahl für die Kosten pro Aufgabe vertrauen kann? Es gibt keine feste Regel, aber weniger als 15-20 Prompts pro Aufgabenkategorie führen tendenziell zu ungenauen Schätzungen der Erfolgsquote, insbesondere bei Programmieraufgaben, bei denen Bestehen/Nichtbestehen binär ist. Größere Stichproben sind bei Aufgabentypen mit variabler Schwierigkeit wichtiger.

Sollte ich aus Gründen der Einfachheit alles über einen Anbieter routen? Einfachheit hat auch ihren Preis, aber Fragmentierung ebenfalls. Vergleichen Sie Anbieter direkt mithilfe von Ressourcen wie dem OpenRouter-Vergleich und den Preisvergleichsseiten und entscheiden Sie dann, ob Multi-Provider-Routing den zusätzlichen Integrationsaufwand für Ihren spezifischen Aufgabenmix wert ist. Für Teams, die hohe Volumina bei Code-, Text-, Bild- und Videogenerierung verarbeiten, ist aufgabenbasiertes Routing über Anbieter hinweg im Allgemeinen üblicher als Standardeinstellungen bei einem einzigen Anbieter.

---

Um aktuelle Raten, Kontextfenster und aufgabenspezifische Rankings verschiedener Anbieter an einem Ort zu sehen, legen Sie los mit dem TokenLab-Modellverzeichnis, bevor Sie Ihre eigenen Tests zu den Kosten pro Aufgabe durchführen.

Sobald Sie Ihren Benchmark durchgeführt haben, vergleichen Sie Ihre Ergebnisse mit dem Feld. Durchsuchen Sie die Modell-Bestenliste, um zu prüfen, wo Ihre gewählten Modelle bei den aktuellen Preis- und Leistungsdaten rangieren.