Kernleitfäden
Streaming
Modellausgabe anzeigen, sobald sie eintrifft
Übersicht
Streaming liefert die Modellausgabe in kleinen Ereignissen, anstatt auf die vollständige Antwort zu warten. Verwenden Sie Responses-Streaming für ein Modell, das openai_responses in accepted_request_formats auflistet; behalten Sie Chat Completions-Streaming bei, wenn dies das ist, was Ihr SDK oder Ihre Anwendung bereits erwartet.
Responses-Streaming
curl https://api.tokenlab.sh/v1/responses \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5.6-terra",
"input": "Write a short poem.",
"stream": true
}'Responses SSE behält die dokumentierten Ereignisnamen, die Reihenfolge und die Felder bei. Nachdem das erste Ereignis eingetroffen ist, gilt ein unterbrochener Stream als unvollständig und wird nicht automatisch neu gestartet.
Responses WebSocket
Verbinden Sie sich mit wss://api.tokenlab.sh/v1/responses und senden Sie response.create-Ereignisse. WebSocket-Antworten werden immer gestreamt und unterstützen kein background oder response.cancel. Ein response.create mit generate: false gibt eine ID zurück, die fortgesetzt werden kann, ohne eine Modellausgabe zu generieren oder eine Modellgebühr zu verursachen.
Jede Verbindung verarbeitet jeweils eine aktive Antwort und dauert bis zu 60 Minuten. Ereignisse enthalten eine antwortspezifische sequence_number. Stream-Ereignisse mit dem Namen error verwenden ein flaches Ereignisobjekt; Verbindungs- und Protokollfehler verwenden ein verschachteltes error-Objekt.
Chat Completions-Streaming
Wenn Ihr Framework weiterhin SSE-Chunks von /v1/chat/completions erwartet, funktioniert das ebenfalls:
import os
from openai import OpenAI
with OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
timeout=30.0,
max_retries=0,
) as client:
finish_reason = None
with client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{"role": "user", "content": "Write a short poem."}],
stream=True,
stream_options={"include_usage": True},
) as stream:
for chunk in stream:
if not chunk.choices:
continue
choice = chunk.choices[0]
if choice.delta.content:
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish_reason = choice.finish_reason
if finish_reason != "stop":
raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")Messages-Streaming
POST /v1/messages mit "stream": true gibt Anthropic Messages SSE-Ereignisse zurück. Betrachten Sie den Stream erst nach einem message_stop-Ereignis als vollständig; ein Stream, der früher endet, ist unvollständig.
Gemini-Streaming
POST /v1beta/models/{model}:streamGenerateContent?alt=sse gibt Gemini-Chunks zurück. Ein Ereignis kann nur Metadaten enthalten, Zwischenereignisse können finishReason weglassen, und der Stream kann natürlich ohne einen Chat Completions [DONE]-Marker enden.
Bedingungen für das Stream-Ende
Typische Abschlussbedingungen:
response.completedfür Responses API-Streamsmessage_stopfür Messages-Streamsfinish_reason: "stop"für Chat Completions-Streamsfinish_reason: "length", wenn ein Token-Limit erreicht wurde- Tool-/Funktionsaufruf-Ereignisse, wenn das Modell Tools verwenden möchte
Web-App-Muster
Führen Sie den SDK-Stream-Consumer auf Ihrem Server aus. Der Browser sollte Ihr eigenes authentifiziertes Backend aufrufen; bewahren Sie den TokenLab-Schlüssel in der Serverumgebung auf. Leiten Sie Text-Deltas an den Browser weiter und brechen Sie den Upstream-Stream ab, wenn der Benutzer stoppt oder die Verbindung trennt. Verwenden Sie das SDK, um SSE-Ereignisse zu parsen: Ein Netzwerk-Chunk ist nicht notwendigerweise ein vollständiges Ereignis.