Temel kılavuzlar
Akış (Streaming)
Model çıktısını ulaştığı anda görüntüleyin
Genel Bakış
Akış (Streaming), model çıktısını tam yanıtı beklemek yerine küçük olaylar halinde iletir. accepted_request_formats içinde openai_responses listeleyen bir model için Responses akışını kullanın; SDK'nız veya uygulamanız halihazırda bunu bekliyorsa Chat Completions akışını koruyun.
Responses akışı
curl https://api.tokenlab.sh/v1/responses \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5.6-terra",
"input": "Write a short poem.",
"stream": true
}'Responses SSE, belgelenmiş olay adlarını, sırasını ve alanlarını korur. İlk olay ulaştıktan sonra kesintiye uğrayan bir akış tamamlanmamış sayılır ve otomatik olarak yeniden başlatılmaz.
Responses WebSocket
wss://api.tokenlab.sh/v1/responses adresine bağlanın ve response.create olaylarını gönderin. WebSocket yanıtları her zaman akış halindedir ve background veya response.cancel desteklemez. generate: false ile yapılan bir response.create, model çıktısı üretmeden veya model ücreti oluşturmadan devam ettirilebilecek bir ID döndürür.
Her bağlantı aynı anda bir aktif yanıtı yönetir ve 60 dakikaya kadar sürer. Olaylar, yanıt kapsamlı bir sequence_number içerir. error olarak adlandırılan akış olayları düz bir olay nesnesi kullanır; bağlantı ve protokol hataları ise iç içe geçmiş bir error nesnesi kullanır.
Chat Completions Akışı
Çerçeveniz hala /v1/chat/completions üzerinden SSE parçaları bekliyorsa, bu da çalışır:
import os
from openai import OpenAI
with OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
timeout=30.0,
max_retries=0,
) as client:
finish_reason = None
with client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{"role": "user", "content": "Write a short poem."}],
stream=True,
stream_options={"include_usage": True},
) as stream:
for chunk in stream:
if not chunk.choices:
continue
choice = chunk.choices[0]
if choice.delta.content:
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish_reason = choice.finish_reason
if finish_reason != "stop":
raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")Messages Akışı
"stream": true ile yapılan POST /v1/messages isteği, Anthropic Messages SSE olaylarını döndürür. Akışı yalnızca bir message_stop olayından sonra tamamlanmış kabul edin; daha önce sona eren bir akış tamamlanmamıştır.
Gemini Akışı
POST /v1beta/models/{model}:streamGenerateContent?alt=sse isteği Gemini parçalarını döndürür. Bir olay yalnızca meta veri içerebilir, ara olaylar finishReason alanını atlayabilir ve akış, bir Chat Completions [DONE] işareti olmadan doğal bir şekilde sona erebilir.
Akış Bitiş Koşulları
Tipik tamamlanma koşulları:
- Responses API akışları için
response.completed - Messages akışları için
message_stop - Chat Completions akışları için
finish_reason: "stop" - Token sınırına ulaşıldığında
finish_reason: "length" - Model araçları kullanmak istediğinde araç/fonksiyon çağrı olayları
Web Uygulaması Modeli
SDK akış tüketicisini sunucunuzda çalıştırın. Tarayıcı kendi kimlik doğrulamalı arka ucunuzu çağırmalıdır; TokenLab anahtarını sunucu ortamında tutun. Metin deltalarını tarayıcıya iletin ve kullanıcı durduğunda veya bağlantıyı kestiğinde yukarı yönlü akışı iptal edin. SSE olaylarını ayrıştırmak için SDK'yı kullanın: bir ağ parçası, mutlaka bir tam olay demek değildir.