Kernleitfäden

Streaming

Modellausgabe anzeigen, sobald sie eintrifft

Übersicht

Streaming liefert die Modellausgabe in kleinen Ereignissen, anstatt auf die vollständige Antwort zu warten. Verwenden Sie Responses-Streaming für ein Modell, das openai_responses in accepted_request_formats auflistet; behalten Sie Chat Completions-Streaming bei, wenn dies das ist, was Ihr SDK oder Ihre Anwendung bereits erwartet.

Responses-Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "input": "Write a short poem.",
    "stream": true
  }'

Responses SSE behält die dokumentierten Ereignisnamen, die Reihenfolge und die Felder bei. Nachdem das erste Ereignis eingetroffen ist, gilt ein unterbrochener Stream als unvollständig und wird nicht automatisch neu gestartet.

Responses WebSocket

Verbinden Sie sich mit wss://api.tokenlab.sh/v1/responses und senden Sie response.create-Ereignisse. WebSocket-Antworten werden immer gestreamt und unterstützen kein background oder response.cancel. Ein response.create mit generate: false gibt eine ID zurück, die fortgesetzt werden kann, ohne eine Modellausgabe zu generieren oder eine Modellgebühr zu verursachen.

Jede Verbindung verarbeitet jeweils eine aktive Antwort und dauert bis zu 60 Minuten. Ereignisse enthalten eine antwortspezifische sequence_number. Stream-Ereignisse mit dem Namen error verwenden ein flaches Ereignisobjekt; Verbindungs- und Protokollfehler verwenden ein verschachteltes error-Objekt.

Chat Completions-Streaming

Wenn Ihr Framework weiterhin SSE-Chunks von /v1/chat/completions erwartet, funktioniert das ebenfalls:

import os
from openai import OpenAI

with OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
) as client:
    finish_reason = None
    with client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{"role": "user", "content": "Write a short poem."}],
        stream=True,
        stream_options={"include_usage": True},
    ) as stream:
        for chunk in stream:
            if not chunk.choices:
                continue
            choice = chunk.choices[0]
            if choice.delta.content:
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish_reason = choice.finish_reason
    if finish_reason != "stop":
        raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")

Messages-Streaming

POST /v1/messages mit "stream": true gibt Anthropic Messages SSE-Ereignisse zurück. Betrachten Sie den Stream erst nach einem message_stop-Ereignis als vollständig; ein Stream, der früher endet, ist unvollständig.

Gemini-Streaming

POST /v1beta/models/{model}:streamGenerateContent?alt=sse gibt Gemini-Chunks zurück. Ein Ereignis kann nur Metadaten enthalten, Zwischenereignisse können finishReason weglassen, und der Stream kann natürlich ohne einen Chat Completions [DONE]-Marker enden.

Bedingungen für das Stream-Ende

Typische Abschlussbedingungen:

  • response.completed für Responses API-Streams
  • message_stop für Messages-Streams
  • finish_reason: "stop" für Chat Completions-Streams
  • finish_reason: "length", wenn ein Token-Limit erreicht wurde
  • Tool-/Funktionsaufruf-Ereignisse, wenn das Modell Tools verwenden möchte

Web-App-Muster

Führen Sie den SDK-Stream-Consumer auf Ihrem Server aus. Der Browser sollte Ihr eigenes authentifiziertes Backend aufrufen; bewahren Sie den TokenLab-Schlüssel in der Serverumgebung auf. Leiten Sie Text-Deltas an den Browser weiter und brechen Sie den Upstream-Stream ab, wenn der Benutzer stoppt oder die Verbindung trennt. Verwenden Sie das SDK, um SSE-Ereignisse zu parsen: Ein Netzwerk-Chunk ist nicht notwendigerweise ein vollständiges Ereignis.

Streams effizient handhaben

Auf dieser Seite