Panduan inti

Streaming

Tampilkan output model saat tiba

Ringkasan

Streaming mengirimkan output model dalam peristiwa-peristiwa kecil alih-alih menunggu jawaban lengkap. Gunakan streaming Responses untuk model yang mencantumkan openai_responses di dalam accepted_request_formats; tetap gunakan streaming Chat Completions jika itulah yang sudah diharapkan oleh SDK atau aplikasi Anda.

Streaming Responses

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "input": "Write a short poem.",
    "stream": true
  }'

Responses SSE mempertahankan nama peristiwa, urutan, dan kolom yang didokumentasikan. Setelah peristiwa pertama tiba, stream yang terputus dianggap tidak lengkap dan tidak dimulai ulang secara otomatis.

WebSocket Responses

Hubungkan ke wss://api.tokenlab.sh/v1/responses dan kirim peristiwa response.create. Respons WebSocket selalu di-stream dan tidak mendukung background atau response.cancel. response.create dengan generate: false akan mengembalikan ID yang dapat dilanjutkan tanpa menghasilkan output model atau membuat tagihan model.

Setiap koneksi menangani satu respons aktif dalam satu waktu dan berlangsung hingga 60 menit. Peristiwa menyertakan sequence_number yang dicakup oleh respons. Peristiwa stream bernama error menggunakan objek peristiwa datar; kegagalan koneksi dan protokol menggunakan objek error bersarang.

Streaming Chat Completions

Jika framework Anda masih mengharapkan potongan SSE dari /v1/chat/completions, hal itu juga dapat berfungsi:

import os
from openai import OpenAI

with OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
) as client:
    finish_reason = None
    with client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{"role": "user", "content": "Write a short poem."}],
        stream=True,
        stream_options={"include_usage": True},
    ) as stream:
        for chunk in stream:
            if not chunk.choices:
                continue
            choice = chunk.choices[0]
            if choice.delta.content:
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish_reason = choice.finish_reason
    if finish_reason != "stop":
        raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")

Streaming Messages

POST /v1/messages dengan "stream": true mengembalikan peristiwa SSE Anthropic Messages. Anggap stream selesai hanya setelah peristiwa message_stop; stream yang berakhir lebih awal dianggap tidak lengkap.

Streaming Gemini

POST /v1beta/models/{model}:streamGenerateContent?alt=sse mengembalikan potongan Gemini. Sebuah peristiwa mungkin hanya berisi metadata, peristiwa perantara mungkin menghilangkan finishReason, dan stream dapat berakhir secara alami tanpa penanda [DONE] Chat Completions.

Kondisi Akhir Stream

Kondisi penyelesaian umum:

  • response.completed untuk stream Responses API
  • message_stop untuk stream Messages
  • finish_reason: "stop" untuk stream Chat Completions
  • finish_reason: "length" ketika batas token tercapai
  • peristiwa pemanggilan tool/fungsi ketika model ingin menggunakan tools

Pola Aplikasi Web

Jalankan konsumen stream SDK di server Anda. Browser harus memanggil backend Anda sendiri yang terautentikasi; simpan kunci TokenLab di lingkungan server. Teruskan delta teks ke browser dan batalkan stream upstream saat pengguna berhenti atau terputus. Gunakan SDK untuk mengurai peristiwa SSE: satu potongan jaringan tidak selalu berarti satu peristiwa lengkap.

Menangani stream dengan baik

Di halaman ini