TokenLab

Tệp và lô

Tạo Batch

Tạo một batch từ tệp JSONL đã tải lên.

POST
/v1/batches

Tổng quan

Tải lên một tệp JSONL với purpose=batch, sau đó sử dụng ID của tệp đó làm input_file_id. Các batch đã hoàn thành sẽ trả về ID của tệp đầu ra và tệp lỗi.

Tệp đầu vào

Tệp này ở định dạng JSONL: mỗi dòng là một yêu cầu, tối đa 50.000 dòng và 200 MiB. Đối với /v1/embeddings, tổng số đầu vào trên tất cả các dòng cũng bị giới hạn ở mức 50.000. Mỗi dòng cần có:

  • custom_id: một chuỗi, là duy nhất trong tệp.
  • method: POST.
  • url: cùng giá trị với endpoint của batch.
  • body: nội dung yêu cầu, bao gồm model.
{"custom_id": "req-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-5.6-terra", "messages": [{"role": "user", "content": "Hello"}], "max_tokens": 100}}

Lưu ý

  • Các tệp đầu vào batch phải sử dụng purpose=batch.
  • completion_window là 24h, đây là giá trị mặc định và duy nhất.
  • metadata chấp nhận tối đa 16 cặp chuỗi: khóa tối đa 64 ký tự, giá trị tối đa 512 ký tự.
  • output_expires_after thiết lập thời điểm tệp kết quả hết hạn: anchor là created_at hoặc completed_at, và seconds tối đa là 30 ngày.
  • Thứ tự đầu ra có thể khác với thứ tự đầu vào. Hãy khớp từng kết quả bằng custom_id.
  • Streaming không được hỗ trợ bên trong các mục batch.
  • Các endpoint mục được hỗ trợ là /v1/chat/completions và /v1/embeddings. /v1/responses không được hỗ trợ.
  • Chi phí ước tính sẽ được giữ lại khi batch được tạo. Số dư quá thấp sẽ trả về lỗi 402.
  • Tệp không hợp lệ sẽ trả về lỗi 400 với param được đặt thành input_file_id, và thông báo sẽ chỉ rõ dòng bị lỗi.

Ví dụ

Yêu cầu

cURL
curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

Giá của batch có thể khác với các yêu cầu đồng bộ. Hãy kiểm tra hóa đơn cuối cùng để biết mức phí.

Ví dụ phản hồi

Phản hồi

200 OK
{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

Các trường quan trọng

idstring
ID của Batch.
statusstring
Trạng thái của Batch.
output_file_idstring|null
ID của tệp đầu ra sau khi hoàn thành.

Xác thực

BearerAuth
AuthorizationBearer <token>

Xác thực bằng Khóa API. Tạo hoặc quản lý khóa API trong Dashboard > API > API Keys.

Vị trí: header

Header

X-TokenLab-Delivery-Policy?string

Chính sách phân phối theo yêu cầu. Ghi đè các mặc định của API key và Workspace. Tự động thử TokenLab Verified trước và có thể chuyển đổi một lần sang Official chỉ trước khi xuất, chấp nhận yêu cầu hoặc tạo tài nguyên cố định.

Giá trị hợp lệ

  • "auto"
  • "verified"
  • "official"

Nội dung yêu cầu

application/json

Phản hồi

application/json

application/json

application/json

application/json

application/json