Tệp và lô
Tạo Batch
Tạo một batch từ tệp JSONL đã tải lên.
Tổng quan
Tải lên một tệp JSONL với purpose=batch, sau đó sử dụng ID của tệp đó làm input_file_id. Các batch đã hoàn thành sẽ trả về ID của tệp đầu ra và tệp lỗi.
Tệp đầu vào
Tệp này ở định dạng JSONL: mỗi dòng là một yêu cầu, tối đa 50.000 dòng và 200 MiB. Đối với /v1/embeddings, tổng số đầu vào trên tất cả các dòng cũng bị giới hạn ở mức 50.000. Mỗi dòng cần có:
custom_id: một chuỗi, là duy nhất trong tệp.method:POST.url: cùng giá trị vớiendpointcủa batch.body: nội dung yêu cầu, bao gồmmodel.
{"custom_id": "req-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-5.6-terra", "messages": [{"role": "user", "content": "Hello"}], "max_tokens": 100}}Lưu ý
- Các tệp đầu vào batch phải sử dụng
purpose=batch. completion_windowlà24h, đây là giá trị mặc định và duy nhất.metadatachấp nhận tối đa 16 cặp chuỗi: khóa tối đa 64 ký tự, giá trị tối đa 512 ký tự.output_expires_afterthiết lập thời điểm tệp kết quả hết hạn:anchorlàcreated_athoặccompleted_at, vàsecondstối đa là 30 ngày.- Thứ tự đầu ra có thể khác với thứ tự đầu vào. Hãy khớp từng kết quả bằng
custom_id. - Streaming không được hỗ trợ bên trong các mục batch.
- Các endpoint mục được hỗ trợ là
/v1/chat/completionsvà/v1/embeddings./v1/responseskhông được hỗ trợ. - Chi phí ước tính sẽ được giữ lại khi batch được tạo. Số dư quá thấp sẽ trả về lỗi
402. - Tệp không hợp lệ sẽ trả về lỗi
400vớiparamđược đặt thànhinput_file_id, và thông báo sẽ chỉ rõ dòng bị lỗi.
Ví dụ
Yêu cầu
curl -X POST "https://api.tokenlab.sh/v1/batches" \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"input_file_id": "file_abc123",
"endpoint": "/v1/chat/completions",
"completion_window": "24h"
}'Giá của batch có thể khác với các yêu cầu đồng bộ. Hãy kiểm tra hóa đơn cuối cùng để biết mức phí.
Phản hồi
{
"id": "batch_abc123",
"object": "batch",
"endpoint": "/v1/chat/completions",
"input_file_id": "file_abc123",
"completion_window": "24h",
"status": "validating",
"output_file_id": null,
"error_file_id": null,
"created_at": 1706000000
}Các trường quan trọng
Xác thực
BearerAuth Xác thực bằng Khóa API. Tạo hoặc quản lý khóa API trong Dashboard > API > API Keys.
Vị trí: header
Header
Chính sách phân phối theo yêu cầu. Ghi đè các mặc định của API key và Workspace. Tự động thử TokenLab Verified trước và có thể chuyển đổi một lần sang Official chỉ trước khi xuất, chấp nhận yêu cầu hoặc tạo tài nguyên cố định.
Giá trị hợp lệ
- "auto"
- "verified"
- "official"
Nội dung yêu cầu
application/json
Phản hồi
application/json
application/json
application/json
application/json
application/json