TokenLab

Tệp và lô

Tạo Batch Tin nhắn

Tạo một batch các yêu cầu Tin nhắn chạy không đồng bộ.

POST
/v1/messages/batches

Tổng quan

Gửi tối đa 100.000 yêu cầu Tin nhắn trong một lần gọi. Batch này chạy không đồng bộ. Phản hồi sẽ trả về ngay lập tức với processing_status được đặt là in_progress. Hãy truy xuất batch cho đến khi trạng thái là ended, sau đó lấy kết quả.

Lưu ý

  • Mỗi mục trong requests đều có custom_id và params. params sử dụng các trường tương tự như Tạo Tin nhắn, bao gồm cả max_tokens. Các mục không được phép sử dụng speed: "fast".
  • custom_id bao gồm từ 1 đến 64 chữ cái, chữ số, dấu gạch dưới hoặc dấu gạch ngang, và phải là duy nhất trong batch.
  • Mọi model trong batch phải khả dụng cho các batch. TokenLab sẽ từ chối toàn bộ yêu cầu với mã 400 nếu một model không khả dụng, hoặc khi không có tuyến đường nào có thể phục vụ tất cả các model trong batch.
  • TokenLab sẽ giữ lại chi phí ước tính khi chấp nhận batch và trả về 402 nếu số dư không đủ để chi trả. Sau khi batch kết thúc, TokenLab sẽ quyết toán việc sử dụng cho các yêu cầu thành công. Giá của batch có thể khác với giá đồng bộ.
  • Nếu một mục tham chiếu đến nội dung file_id, hãy gửi anthropic-beta: files-api-2025-04-14.
  • Gửi Idempotency-Key để thử lại yêu cầu tạo bị hết thời gian chờ một cách an toàn. Xem Thử lại an toàn với idempotency key.

Ví dụ

Yêu cầu

cURL
curl -X POST "https://api.tokenlab.sh/v1/messages/batches" \
  -H "x-api-key: sk-your-api-key" \
  -H "anthropic-version: 2023-06-01" \
  -H "Idempotency-Key: 6f1c2a9e-0b7d-4c1e-9a53-2d9f3a1b7c10" \
  -H "Content-Type: application/json" \
  -d '{
    "requests": [
      {
        "custom_id": "request-1",
        "params": {
          "model": "claude-sonnet-5",
          "max_tokens": 1024,
          "messages": [{"role": "user", "content": "Hello, Claude!"}]
        }
      },
      {
        "custom_id": "request-2",
        "params": {
          "model": "claude-sonnet-5",
          "max_tokens": 1024,
          "messages": [{"role": "user", "content": "Name three colors."}]
        }
      }
    ]
  }'

Ví dụ phản hồi

Phản hồi

200 OK
{
  "id": "msgbatch_01ABC123",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 2,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2026-11-01T10:00:00Z",
  "expires_at": "2026-11-02T10:00:00Z",
  "cancel_initiated_at": null,
  "archived_at": null,
  "results_url": null
}

Các trường quan trọng

idstring
ID của batch tin nhắn. Sử dụng ID này để truy xuất, hủy, hoặc xóa batch và lấy kết quả của nó.
processing_statusstring
in_progress, canceling, hoặc ended.
request_countsobject
Số lượng các yêu cầu đang processing, succeeded, errored, canceled, hoặc expired.
expires_atstring
Thời điểm batch hết hạn. Các yêu cầu chưa hoàn thành trước thời điểm này sẽ kết thúc với trạng thái expired.
results_urlstring|null
URL của kết quả. Giá trị này là null cho đến khi batch kết thúc.

Xác thực

BearerAuth
AuthorizationBearer <token>

Xác thực bằng Khóa API. Tạo hoặc quản lý khóa API trong Dashboard > API > API Keys.

Vị trí: header

Header

X-TokenLab-Delivery-Policy?string

Chính sách phân phối theo yêu cầu. Ghi đè các mặc định của API key và Workspace. Tự động thử TokenLab Verified trước và có thể chuyển đổi một lần sang Official chỉ trước khi xuất, chấp nhận yêu cầu hoặc tạo tài nguyên cố định.

Giá trị hợp lệ

  • "auto"
  • "verified"
  • "official"
Idempotency-Key?string

Khóa tùy chọn giúp yêu cầu tạo trở nên an toàn khi thử lại. Hãy gửi một giá trị duy nhất mới, chẳng hạn như UUID, cho mỗi tác vụ. Thử lại với cùng khóa và cùng phần thân sẽ trả về kết quả của yêu cầu tạo ban đầu, thường là tác vụ gốc, và không tạo, điều phối hoặc tính phí tác vụ thứ hai. Phần thân khác với khóa đã được chấp nhận sẽ bị từ chối với 409. Khóa dài hơn 255 ký tự sẽ bị bỏ qua và yêu cầu đó sẽ không có bảo vệ idempotency. Xem Thử lại an toàn với khóa idempotency.

Độ dài1 <= length <= 255

Nội dung yêu cầu

application/json

Phản hồi

application/json

application/json

application/json

application/json

application/json

application/json

application/json

application/json

application/json

application/json

application/json