TokenLab

Guides essentiels

Streaming

Afficher la sortie du modèle au fur et à mesure de son arrivée

Aperçu

Le streaming permet de recevoir la sortie du modèle sous forme de petits événements au lieu d'attendre la réponse complète. Utilisez le streaming des Responses pour un modèle qui liste openai_responses dans accepted_request_formats ; conservez le streaming des Chat Completions lorsque c'est ce que votre SDK ou votre application attend déjà.

Streaming des Responses

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "input": "Write a short poem.",
    "stream": true
  }'

Le SSE des Responses conserve les noms d'événements, l'ordre et les champs documentés. Une fois le premier événement reçu, un flux interrompu est considéré comme incomplet et n'est pas redémarré automatiquement.

WebSocket des Responses

Connectez-vous à wss://api.tokenlab.sh/v1/responses et envoyez des événements response.create. Les réponses WebSocket sont toujours diffusées en streaming et ne prennent pas en charge background ou response.cancel. Un response.create avec generate: false renvoie un ID qui peut être poursuivi sans générer de sortie de modèle ni créer de facturation liée au modèle.

Chaque connexion gère une réponse active à la fois et dure jusqu'à 60 minutes. Les événements incluent un sequence_number propre à la réponse. Les événements de flux nommés error utilisent un objet d'événement plat ; les échecs de connexion et de protocole utilisent un objet error imbriqué.

Streaming des Chat Completions

Si votre framework attend toujours des fragments SSE provenant de /v1/chat/completions, cela fonctionne également :

import os
from openai import OpenAI

with OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
) as client:
    finish_reason = None
    with client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{"role": "user", "content": "Write a short poem."}],
        stream=True,
        stream_options={"include_usage": True},
    ) as stream:
        for chunk in stream:
            if not chunk.choices:
                continue
            choice = chunk.choices[0]
            if choice.delta.content:
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish_reason = choice.finish_reason
    if finish_reason != "stop":
        raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")

Streaming des Messages

POST /v1/messages avec "stream": true renvoie des événements SSE Anthropic Messages. Considérez le flux comme terminé uniquement après un événement message_stop ; un flux qui se termine plus tôt est incomplet.

Streaming Gemini

POST /v1beta/models/{model}:streamGenerateContent?alt=sse renvoie des fragments Gemini. Un événement peut ne contenir que des métadonnées, les événements intermédiaires peuvent omettre finishReason, et le flux peut se terminer naturellement sans marqueur [DONE] de Chat Completions.

Conditions de fin de flux

Conditions de fin typiques :

  • response.completed pour les flux de l'API Responses
  • message_stop pour les flux de Messages
  • finish_reason: "stop" pour les flux de Chat Completions
  • finish_reason: "length" lorsqu'une limite de jetons est atteinte
  • événements d'appel d'outil/fonction lorsque le modèle souhaite utiliser des outils

Modèle d'application Web

Exécutez le consommateur de flux du SDK sur votre serveur. Le navigateur doit appeler votre propre backend authentifié ; conservez la clé TokenLab dans l'environnement serveur. Transférez les deltas de texte vers le navigateur et annulez le flux amont lorsque l'utilisateur s'arrête ou se déconnecte. Utilisez le SDK pour analyser les événements SSE : un fragment réseau n'est pas nécessairement un événement complet.

Bien gérer les flux

Sur cette page