Guides essentiels
Streaming
Afficher la sortie du modèle au fur et à mesure de son arrivée
Aperçu
Le streaming permet de recevoir la sortie du modèle sous forme de petits événements au lieu d'attendre la réponse complète. Utilisez le streaming des Responses pour un modèle qui liste openai_responses dans accepted_request_formats ; conservez le streaming des Chat Completions lorsque c'est ce que votre SDK ou votre application attend déjà.
Streaming des Responses
curl https://api.tokenlab.sh/v1/responses \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5.6-terra",
"input": "Write a short poem.",
"stream": true
}'Le SSE des Responses conserve les noms d'événements, l'ordre et les champs documentés. Une fois le premier événement reçu, un flux interrompu est considéré comme incomplet et n'est pas redémarré automatiquement.
WebSocket des Responses
Connectez-vous à wss://api.tokenlab.sh/v1/responses et envoyez des événements response.create. Les réponses WebSocket sont toujours diffusées en streaming et ne prennent pas en charge background ou response.cancel. Un response.create avec generate: false renvoie un ID qui peut être poursuivi sans générer de sortie de modèle ni créer de facturation liée au modèle.
Chaque connexion gère une réponse active à la fois et dure jusqu'à 60 minutes. Les événements incluent un sequence_number propre à la réponse. Les événements de flux nommés error utilisent un objet d'événement plat ; les échecs de connexion et de protocole utilisent un objet error imbriqué.
Streaming des Chat Completions
Si votre framework attend toujours des fragments SSE provenant de /v1/chat/completions, cela fonctionne également :
import os
from openai import OpenAI
with OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
timeout=30.0,
max_retries=0,
) as client:
finish_reason = None
with client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{"role": "user", "content": "Write a short poem."}],
stream=True,
stream_options={"include_usage": True},
) as stream:
for chunk in stream:
if not chunk.choices:
continue
choice = chunk.choices[0]
if choice.delta.content:
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish_reason = choice.finish_reason
if finish_reason != "stop":
raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")Streaming des Messages
POST /v1/messages avec "stream": true renvoie des événements SSE Anthropic Messages. Considérez le flux comme terminé uniquement après un événement message_stop ; un flux qui se termine plus tôt est incomplet.
Streaming Gemini
POST /v1beta/models/{model}:streamGenerateContent?alt=sse renvoie des fragments Gemini. Un événement peut ne contenir que des métadonnées, les événements intermédiaires peuvent omettre finishReason, et le flux peut se terminer naturellement sans marqueur [DONE] de Chat Completions.
Conditions de fin de flux
Conditions de fin typiques :
response.completedpour les flux de l'API Responsesmessage_stoppour les flux de Messagesfinish_reason: "stop"pour les flux de Chat Completionsfinish_reason: "length"lorsqu'une limite de jetons est atteinte- événements d'appel d'outil/fonction lorsque le modèle souhaite utiliser des outils
Modèle d'application Web
Exécutez le consommateur de flux du SDK sur votre serveur. Le navigateur doit appeler votre propre backend authentifié ; conservez la clé TokenLab dans l'environnement serveur. Transférez les deltas de texte vers le navigateur et annulez le flux amont lorsque l'utilisateur s'arrête ou se déconnecte. Utilisez le SDK pour analyser les événements SSE : un fragment réseau n'est pas nécessairement un événement complet.