TokenLab

Hướng dẫn cốt lõi

Streaming

Hiển thị đầu ra của mô hình ngay khi nhận được

Tổng quan

Streaming (truyền phát) cung cấp đầu ra của mô hình theo các sự kiện nhỏ thay vì phải đợi toàn bộ câu trả lời. Hãy sử dụng Responses streaming cho các mô hình liệt kê openai_responses trong accepted_request_formats; giữ nguyên Chat Completions streaming nếu đó là định dạng mà SDK hoặc ứng dụng của bạn đã hỗ trợ.

Responses streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-terra",
    "input": "Write a short poem.",
    "stream": true
  }'

Responses SSE giữ nguyên các tên sự kiện, thứ tự và các trường đã được tài liệu hóa. Sau khi sự kiện đầu tiên đến, một luồng bị gián đoạn sẽ được coi là không hoàn tất và không tự động khởi động lại.

Responses WebSocket

Kết nối tới wss://api.tokenlab.sh/v1/responses và gửi các sự kiện response.create. Các phản hồi WebSocket luôn được truyền phát và không hỗ trợ background hoặc response.cancel. Một yêu cầu response.create với generate: false sẽ trả về một ID có thể được tiếp tục mà không cần tạo đầu ra mô hình hoặc tính phí mô hình.

Mỗi kết nối xử lý một phản hồi hoạt động tại một thời điểm và kéo dài tối đa 60 phút. Các sự kiện bao gồm một sequence_number theo phạm vi phản hồi. Các sự kiện luồng có tên error sử dụng đối tượng sự kiện phẳng; các lỗi kết nối và giao thức sử dụng đối tượng error lồng nhau.

Chat Completions Streaming

Nếu framework của bạn vẫn mong đợi các đoạn SSE từ /v1/chat/completions, điều đó vẫn hoạt động:

import os
from openai import OpenAI

with OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
    timeout=30.0,
    max_retries=0,
) as client:
    finish_reason = None
    with client.chat.completions.create(
        model="gpt-5.6-terra",
        messages=[{"role": "user", "content": "Write a short poem."}],
        stream=True,
        stream_options={"include_usage": True},
    ) as stream:
        for chunk in stream:
            if not chunk.choices:
                continue
            choice = chunk.choices[0]
            if choice.delta.content:
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish_reason = choice.finish_reason
    if finish_reason != "stop":
        raise RuntimeError(f"Stream ended without a complete text answer: {finish_reason}")

Messages Streaming

POST /v1/messages với "stream": true trả về các sự kiện SSE của Anthropic Messages. Chỉ coi luồng là hoàn tất sau khi nhận được sự kiện message_stop; một luồng kết thúc sớm hơn được coi là không hoàn tất.

Gemini Streaming

POST /v1beta/models/{model}:streamGenerateContent?alt=sse trả về các đoạn Gemini. Một sự kiện có thể chỉ chứa siêu dữ liệu, các sự kiện trung gian có thể bỏ qua finishReason, và luồng có thể kết thúc tự nhiên mà không cần đánh dấu [DONE] của Chat Completions.

Điều kiện kết thúc luồng

Các điều kiện hoàn tất điển hình:

  • response.completed cho các luồng Responses API
  • message_stop cho các luồng Messages
  • finish_reason: "stop" cho các luồng Chat Completions
  • finish_reason: "length" khi đạt giới hạn token
  • Các sự kiện gọi công cụ/hàm khi mô hình muốn sử dụng các công cụ (tools)

Mô hình ứng dụng Web

Chạy trình tiêu thụ luồng SDK trên máy chủ của bạn. Trình duyệt nên gọi backend đã xác thực của riêng bạn; hãy giữ khóa TokenLab trong môi trường máy chủ. Chuyển tiếp các delta văn bản đến trình duyệt và hủy luồng ngược dòng khi người dùng dừng hoặc ngắt kết nối. Sử dụng SDK để phân tích các sự kiện SSE: một đoạn mạng không nhất thiết là một sự kiện hoàn chỉnh.

Xử lý luồng hiệu quả

Trên trang này