Temel kılavuzlar

Akış (Streaming)

Model çıktısını ulaştığı anda görüntüleyin

Genel Bakış

Akış (Streaming), model çıktısını tam yanıtı beklemek yerine küçük olaylar halinde iletir. accepted_request_formats içinde openai_responses listeleyen bir model için Responses akışını kullanın; SDK'nız veya uygulamanız halihazırda bunu bekliyorsa Chat Completions akışını koruyun.

Responses akışı

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "input": "Write a short poem.",
    "stream": true
  }'

Responses SSE, belgelenmiş olay adlarını, sırasını ve alanlarını korur. İlk olay ulaştıktan sonra kesintiye uğrayan bir akış tamamlanmamış sayılır ve otomatik olarak yeniden başlatılmaz.

Responses WebSocket

wss://api.tokenlab.sh/v1/responses adresine bağlanın ve response.create olaylarını gönderin. WebSocket yanıtları her zaman akış halindedir ve background veya response.cancel desteklemez. generate: false ile yapılan bir response.create, model çıktısı üretmeden veya model ücreti oluşturmadan devam ettirilebilecek bir ID döndürür.

Her bağlantı aynı anda bir aktif yanıtı yönetir ve 60 dakikaya kadar sürer. Olaylar, yanıt kapsamlı bir sequence_number içerir. error olarak adlandırılan akış olayları düz bir olay nesnesi kullanır; bağlantı ve protokol hataları ise iç içe geçmiş bir error nesnesi kullanır.

Chat Completions Akışı

Çerçeveniz hala /v1/chat/completions üzerinden SSE parçaları bekliyorsa, bu da çalışır:

import os
from openai import OpenAI

with OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
) as client:
    finish_reason = None
    with client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{"role": "user", "content": "Write a short poem."}],
        stream=True,
        stream_options={"include_usage": True},
    ) as stream:
        for chunk in stream:
            if not chunk.choices:
                continue
            choice = chunk.choices[0]
            if choice.delta.content:
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish_reason = choice.finish_reason
    if finish_reason != "stop":
        raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")

Messages Akışı

"stream": true ile yapılan POST /v1/messages isteği, Anthropic Messages SSE olaylarını döndürür. Akışı yalnızca bir message_stop olayından sonra tamamlanmış kabul edin; daha önce sona eren bir akış tamamlanmamıştır.

Gemini Akışı

POST /v1beta/models/{model}:streamGenerateContent?alt=sse isteği Gemini parçalarını döndürür. Bir olay yalnızca meta veri içerebilir, ara olaylar finishReason alanını atlayabilir ve akış, bir Chat Completions [DONE] işareti olmadan doğal bir şekilde sona erebilir.

Akış Bitiş Koşulları

Tipik tamamlanma koşulları:

  • Responses API akışları için response.completed
  • Messages akışları için message_stop
  • Chat Completions akışları için finish_reason: "stop"
  • Token sınırına ulaşıldığında finish_reason: "length"
  • Model araçları kullanmak istediğinde araç/fonksiyon çağrı olayları

Web Uygulaması Modeli

SDK akış tüketicisini sunucunuzda çalıştırın. Tarayıcı kendi kimlik doğrulamalı arka ucunuzu çağırmalıdır; TokenLab anahtarını sunucu ortamında tutun. Metin deltalarını tarayıcıya iletin ve kullanıcı durduğunda veya bağlantıyı kestiğinde yukarı yönlü akışı iptal edin. SSE olaylarını ayrıştırmak için SDK'yı kullanın: bir ağ parçası, mutlaka bir tam olay demek değildir.

Akışları doğru yönetin

Bu sayfada