Text & Chat
Chat-Completion erstellen
Erstellt eine Completion für die Chat-Nachricht
Request-Body
Unterstützte optionale Parameter, akzeptierte Werte und Standardwerte hängen vom ausgewählten Modell ab. Prüfen Sie dessen Modelldetails, bevor Sie Sampling-, Reasoning- oder Tool-Optionen festlegen. Eine Steuerung, die das Modell nicht unterstützt, wie z. B. n größer als 1 bei einigen Modellen, wird mit einem 4xx-Fehler abgelehnt. Kleinere Sampling-Steuerungen wie seed oder die Penalties können stattdessen ignoriert werden.
ID des zu verwendenden Modells. Siehe Modelle für verfügbare Optionen.
Eine Liste von Nachrichten, die die Konversation bilden.
Jedes Nachrichtenobjekt enthält:
role(string):system,developer,user,assistant,tool,functioncontent(string | array | null): Der Inhalt der Nachricht
Bei einer assistant-Nachricht, die tool_calls enthält, kann content weggelassen oder auf null gesetzt werden.
Wenn content ein Array ist, unterstützt TokenLab strukturierte multimodale Blöcke für kompatible Modelle:
- text:
{ "type": "text", "text": "..." } - image:
{ "type": "image_url", "image_url": { "url": "https://..." } } - video:
{ "type": "video_url", "video_url": { "url": "https://..." } } - audio:
{ "type": "input_audio", "input_audio": { "data": "https://... or base64 data URL", "format": "wav" } }oder{ "type": "audio_url", "audio_url": { "url": "https://..." } }
Verwenden Sie für multimodale Eingaben öffentlich erreichbare https-URLs. Bilder können auch als Base64-Data-URLs gesendet werden. Unterstützte Medientypen hängen vom ausgewählten Modell ab.
Sampling-Temperatur. Unterstützung, zulässige Werte und der Standardwert hängen vom ausgewählten Modell ab; lassen Sie dieses Feld weg, um dessen Standardwert zu verwenden.
Maximale Anzahl der zu generierenden Tokens. Senden Sie entweder max_tokens oder max_completion_tokens, nicht beides: Ein Modell, das über ein anderes Protokoll bereitgestellt wird, kann eine Anfrage ablehnen, die beides enthält.
Bei einem Modell, das nachdenkt, zählen Thinking-Tokens gegen dieses Limit. Wenn das Limit zu klein ist, kann das gesamte Budget für das Nachdenken aufgebraucht werden und ein leerer Nachrichtentext zurückbleiben; die verwendeten Tokens werden dennoch abgerechnet. Erhöhen Sie das Limit oder deaktivieren Sie das Nachdenken, sofern das Modell dies zulässt, beispielsweise mit "reasoning_effort": "none". Bei deepseek-v4.1-flash (Alias deepseek-flash) wird es auch über "thinking": {"type": "disabled"} deaktiviert.
Bevor die Anfrage ausgeführt wird, prüft TokenLab, ob Ihr Guthaben dieses Maximum abdeckt. Ein sehr großer Wert kann bei geringem Guthaben zu einem 402-Fehler führen, selbst wenn die Antwort kurz ist.
falseWenn true, werden partielle Nachrichtendeltas als Server-Sent Events (SSE) gesendet. Siehe Streaming.
Setzen Sie bei langen Ausgaben (Tausende von Tokens oder mehr) stream: true, damit Clients und Proxys nicht in ein Timeout laufen, während sie auf die vollständige Antwort warten.
Optionen für das Streaming. Setzen Sie include_usage: true, um vor data: [DONE] einen zusätzlichen Chunk mit der Token-Nutzung zu erhalten. Ohne diese Option enthält der Stream keine Nutzungsdaten.
Nucleus-Sampling-Parameter. Wir empfehlen, entweder diesen Wert oder die Temperatur anzupassen, nicht beides.
Zahl zwischen -2.0 und 2.0. Positive Werte bestrafen wiederholte Tokens.
Zahl zwischen -2.0 und 2.0. Positive Werte bestrafen Tokens, die bereits im Text vorkommen.
Stoppsequenz oder Liste von Sequenzen. Unterstützung und Sequenzlimits hängen vom ausgewählten Modell ab.
Eine Liste von Tools, die das Modell aufrufen kann (Function Calling). Jedes Tool ist { "type": "function", "function": { "name": "...", "description": "...", "parameters": { ... } } }. Siehe Strukturierte Ausgaben und Tool Calling.
Steuert, wie das Modell Tools verwendet. Optionen: auto, none, required oder { "type": "function", "function": { "name": "..." } }, um ein bestimmtes Tool zu erzwingen.
Erlaubt mehrere Tool-Aufrufe in einem einzigen Assistant-Turn, sofern vom ausgewählten Modell unterstützt.
Obergrenze für die Completion, einschließlich Thinking-Tokens. Alternative zu max_tokens, die von neueren OpenAI-Modellfamilien verwendet wird. Senden Sie nur einen der beiden Parameter.
Reasoning-Aufwand für Modelle, die dies unterstützen. Akzeptierte Werte hängen vom ausgewählten Modell ab.
Für Claude-Modelle legt der Wert das Thinking des Modells fest: ein Aufwandslevel bei Modellen mit adaptivem Thinking oder ein Thinking-Budget bei Modellen, die ein solches verwenden. none deaktiviert das Thinking bei Modellen, die dies zulassen. Ein vom Modell nicht unterstützter Wert wird mit 400, Code invalid_value abgelehnt, und die Fehlermeldung listet die unterstützten Werte auf. Während Thinking aktiviert ist, lehnt Claude eine temperature ungleich 1, top_k, ein top_p außerhalb von 0.95–1 und eine vorausgefüllte Assistant-Nachricht ab. Ein erzwungenes tool_choice funktioniert mit adaptivem Thinking, jedoch nicht mit einem Thinking-Budget.
Optionen für Claude-Modelle.
prompt_caching(boolean): Auftruesetzen, um den Anfang des Prompts zwischenzuspeichern. TokenLab markiert das Ende des System-Prompts und die letzte User-Nachricht als Cache-Punkte. Eine spätere Anfrage, die mit demselben Inhalt beginnt, liest diesen aus dem Cache. Verwenden Sie entweder diese Option oder Ihre eigenencache_control-Markierungen, nicht beides.prompt_caching_ttl(string):5m(Standard) oder1h. Wenn der Dienst, der die Anfrage verarbeitet, einen Cache nicht für eine Stunde vorhalten kann, kann TokenLab stattdessen den Fünf-Minuten-Cache verwenden, anstatt die Anfrage abzulehnen.
extra.prompt_caching und extra.prompt_caching_ttl werden als dieselben Optionen akzeptiert. Siehe Prompt-Caching für Preise und Informationen zum Prüfen der zwischengespeicherten Tokens.
Sampling-Seed für Modelle, die dies unterstützen. Eine identische Ausgabe wird nicht garantiert.
Anzahl der zu generierenden Completions. Modelle, die dies unterstützen, akzeptieren 1–128. Viele Modelle unterstützen nur 1.
Gibt an, ob Log-Wahrscheinlichkeiten zurückgegeben werden sollen.
Anzahl der zurückzugebenden Top-Log-Wahrscheinlichkeiten (0–20). Erfordert logprobs: true.
Top-K-Sampling für Modelle, die dies unterstützen.
Antwortformat. Verwenden Sie {"type": "text"} (Standard), {"type": "json_object"} für den JSON-Modus oder {"type": "json_schema", "json_schema": {"name": "...", "schema": {...}, "strict": true}} für ein JSON-Schema. Die Unterstützung hängt vom ausgewählten Modell ab. Siehe Strukturierte Ausgaben und Tool Calling.
Modifiziert die Wahrscheinlichkeit des Auftretens bestimmter Tokens. Weist Token-IDs (als Strings) Bias-Werte von -100 bis 100 zu. Die Unterstützung hängt vom ausgewählten Modell ab.
TokenLab verarbeitet und berechnet Chat-Anfragen auf dem Standard-Service-Tier. auto und default werden akzeptiert. Andere Werte wie flex oder priority werden aus der Anfrage entfernt und die Anfrage wird zum Standardpreis abgerechnet.
Eine eindeutige Kennung, die Ihren Endnutzer zur Missbrauchsüberwachung repräsentiert.
Antwort
Eindeutige Kennung für die Completion.
Immer chat.completion.
Unix-Zeitstempel des Erstellungszeitpunkts der Completion.
Das für die Completion verwendete Modell.
Liste der Completion-Choices.
Jede Choice enthält:
index(integer): Index der Choicemessage(object): Die generierte Nachrichtfinish_reason(string): Grund für das Beenden der Generierung durch das Modell, zum Beispielstop,length,tool_callsodercontent_filter
Wenn das Modell nachdenkt, kann message auch Folgendes enthalten:
reasoning_content(string): Der Thinking-Text. Einige Modelle geben nur eine Zusammenfassung oder keinen Text zurück.reasoning_details(array): Thinking-Blöcke mit ihren Signaturen. Um eine Konversation mit Thinking fortzusetzen, beispielsweise nach einem Tool-Aufruf, senden Sie diese unverändert in der Assistant-Nachricht zurück.
In einem Stream treffen dieselben Felder als delta.reasoning_content und delta.reasoning_details ein.
Statistiken zur Token-Nutzung.
prompt_tokens(integer): Tokens im Promptcompletion_tokens(integer): Tokens in der Completion, einschließlich Thinking-Tokenstotal_tokens(integer): Gesamtzahl der verwendeten Tokensprompt_tokens_details.cached_tokens(integer): Aus dem Cache gelesene Prompt-Tokenscache_creation_input_tokens(integer): In den Cache geschriebene Prompt-Tokens. Nur vorhanden, wenn der Wert größer als 0 istcompletion_tokens_details.reasoning_tokens(integer): Thinking-Tokens, sofern vom Modell gemeldet
In einem Stream wird die Nutzung nur übermittelt, wenn stream_options.include_usage auf true gesetzt ist.
Anfrage
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5.6-terra",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
],
"max_tokens": 1000
}'Multimodales Beispiel
{
"model": "gemini-2.5-pro",
"messages": [
{
"role": "user",
"content": [
{ "type": "text", "text": "Describe this video briefly." },
{ "type": "video_url", "video_url": { "url": "https://example.com/demo.mp4" } }
]
}
],
"max_tokens": 64
}Antwort
{
"id": "chatcmpl-abc123",
"object": "chat.completion",
"created": 1706000000,
"model": "gpt-5.6-terra",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "Hello! How can I help you today?"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 20,
"completion_tokens": 9,
"total_tokens": 29
}
}Streaming
Mit stream: true ist die Antwort ein text/event-stream. Jedes Event ist data: {...} mit einem chat.completion.chunk-Objekt, dessen choices[].delta den neuen Text, Argumente von Tool-Aufrufen oder Thinking-Text überträgt. Der Stream endet mit data: [DONE]. Zeilen, die mit : beginnen, sind Keep-Alive-Kommentare: diese können ignoriert werden. Ein Stream, der ohne [DONE] oder ohne einen finish_reason endet, ist unvollständig. Siehe Streaming.
Fehler
Fehler verwenden das error-Objekt im OpenAI-Stil. Häufige Fälle: 400 für ein ungültiges Feld oder einen Wert, den das Modell nicht akzeptiert, 401 für einen ungültigen Schlüssel, 402 für unzureichendes Guthaben, 413 für Eingaben über dem Größenlimit und 429 für das Rate-Limit. Siehe API-Fehler behandeln.
Autorisierung
BearerAuth API-Key-Authentifizierung. Erstellen oder verwalten Sie API-Keys unter Dashboard > API > API Keys.
Ort: header
Header
Zustellungsrichtlinie pro Anfrage. Überschreibt die API-Key- und Workspace-Standardeinstellungen. Versucht automatisch zuerst TokenLab Verified und kann vor der Ausgabe, der Annahme der Anfrage oder der Erstellung persistenter Ressourcen einmalig auf Official umstellen.
Zulässige Werte
- "auto"
- "verified"
- "official"
Optionaler Schlüssel, der eine zweite Ausführung derselben Anfrage verhindert. Senden Sie für jede Anfrage einen neuen eindeutigen Wert, wie z. B. eine UUID, und behalten Sie diesen für Wiederholungsversuche nach einem Timeout bei. Ein Wiederholungsversuch mit demselben Schlüssel wird nicht erneut ausgeführt: Er gibt 409 mit idempotency_replay_unavailable zurück, oder bei geändertem Body in der Regel idempotency_conflict. Ausnahme: Wenn ein Nicht-Streaming-Ergebnis nach der Trennung des Clients abgeschlossen wurde, gibt ein Wiederholungsversuch mit demselben Schlüssel und Body innerhalb von 24 Stunden dieses Ergebnis (bis zu 1 MB) mit dem Header Idempotent-Replayed: true zurück, ohne dass eine zweite Gebühr anfällt. Ein Schlüssel mit mehr als 255 Zeichen wird ignoriert, und die Anfrage verfügt dann über keinen Idempotenz-Schutz. Siehe Sichere Wiederholungsversuche mit einem Idempotenz-Schlüssel.
1 <= length <= 255Anfragekörper
application/json
Antwort
application/json
application/json
application/json
application/json
application/json
application/json
application/json