Panduan inti
Streaming
Tampilkan output model saat tiba
Ringkasan
Streaming mengirimkan output model dalam peristiwa-peristiwa kecil alih-alih menunggu jawaban lengkap. Gunakan streaming Responses untuk model yang mencantumkan openai_responses di dalam accepted_request_formats; tetap gunakan streaming Chat Completions jika itulah yang sudah diharapkan oleh SDK atau aplikasi Anda.
Streaming Responses
curl https://api.tokenlab.sh/v1/responses \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5.6-terra",
"input": "Write a short poem.",
"stream": true
}'Responses SSE mempertahankan nama peristiwa, urutan, dan kolom yang didokumentasikan. Setelah peristiwa pertama tiba, stream yang terputus dianggap tidak lengkap dan tidak dimulai ulang secara otomatis.
WebSocket Responses
Hubungkan ke wss://api.tokenlab.sh/v1/responses dan kirim peristiwa response.create. Respons WebSocket selalu di-stream dan tidak mendukung background atau response.cancel. response.create dengan generate: false akan mengembalikan ID yang dapat dilanjutkan tanpa menghasilkan output model atau membuat tagihan model.
Setiap koneksi menangani satu respons aktif dalam satu waktu dan berlangsung hingga 60 menit. Peristiwa menyertakan sequence_number yang dicakup oleh respons. Peristiwa stream bernama error menggunakan objek peristiwa datar; kegagalan koneksi dan protokol menggunakan objek error bersarang.
Streaming Chat Completions
Jika framework Anda masih mengharapkan potongan SSE dari /v1/chat/completions, hal itu juga dapat berfungsi:
import os
from openai import OpenAI
with OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
timeout=30.0,
max_retries=0,
) as client:
finish_reason = None
with client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{"role": "user", "content": "Write a short poem."}],
stream=True,
stream_options={"include_usage": True},
) as stream:
for chunk in stream:
if not chunk.choices:
continue
choice = chunk.choices[0]
if choice.delta.content:
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish_reason = choice.finish_reason
if finish_reason != "stop":
raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")Streaming Messages
POST /v1/messages dengan "stream": true mengembalikan peristiwa SSE Anthropic Messages. Anggap stream selesai hanya setelah peristiwa message_stop; stream yang berakhir lebih awal dianggap tidak lengkap.
Streaming Gemini
POST /v1beta/models/{model}:streamGenerateContent?alt=sse mengembalikan potongan Gemini. Sebuah peristiwa mungkin hanya berisi metadata, peristiwa perantara mungkin menghilangkan finishReason, dan stream dapat berakhir secara alami tanpa penanda [DONE] Chat Completions.
Kondisi Akhir Stream
Kondisi penyelesaian umum:
response.completeduntuk stream Responses APImessage_stopuntuk stream Messagesfinish_reason: "stop"untuk stream Chat Completionsfinish_reason: "length"ketika batas token tercapai- peristiwa pemanggilan tool/fungsi ketika model ingin menggunakan tools
Pola Aplikasi Web
Jalankan konsumen stream SDK di server Anda. Browser harus memanggil backend Anda sendiri yang terautentikasi; simpan kunci TokenLab di lingkungan server. Teruskan delta teks ke browser dan batalkan stream upstream saat pengguna berhenti atau terputus. Gunakan SDK untuk mengurai peristiwa SSE: satu potongan jaringan tidak selalu berarti satu peristiwa lengkap.