Berkas & batch

Membuat Batch

Membuat batch dari file JSONL yang diunggah.

POST
/v1/batches

Gambaran Umum

Unggah file JSONL dengan purpose=batch, lalu gunakan ID-nya sebagai input_file_id. Batch yang telah selesai akan mengembalikan ID file output dan error.

File input

File tersebut berformat JSONL: satu permintaan per baris, hingga 50.000 baris dan 200 MiB. Untuk /v1/embeddings, jumlah total input di semua baris juga dibatasi hingga 50.000. Setiap baris memerlukan:

  • custom_id: sebuah string, unik di dalam file.
  • method: POST.
  • url: nilai yang sama dengan endpoint batch.
  • body: body permintaan, dengan model.
{"custom_id": "req-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-5.6-terra", "messages": [{"role": "user", "content": "Hello"}], "max_tokens": 100}}

Catatan

  • File input batch harus menggunakan purpose=batch.
  • completion_window adalah 24h, nilai default dan satu-satunya.
  • metadata menerima hingga 16 pasangan string: kunci maksimal 64 karakter, nilai maksimal 512 karakter.
  • output_expires_after mengatur kapan file hasil kedaluwarsa: anchor adalah created_at atau completed_at, dan seconds maksimal 30 hari.
  • Urutan output mungkin berbeda dari urutan input. Cocokkan setiap hasil berdasarkan custom_id.
  • Streaming tidak didukung di dalam item batch.
  • Endpoint item yang didukung adalah /v1/chat/completions dan /v1/embeddings. /v1/responses tidak didukung.
  • Estimasi biaya akan dicadangkan saat batch dibuat. Saldo yang terlalu rendah akan mengembalikan 402.
  • File yang tidak valid akan mengembalikan 400 dengan param diatur ke input_file_id, dan pesan akan menyebutkan baris yang bermasalah.

Contoh

Permintaan

cURL
curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

Harga batch mungkin berbeda dari permintaan sinkron. Periksa tagihan akhir untuk biaya yang dikenakan.

Contoh respons

Respons

200 OK
{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

Bidang penting

idstring
ID Batch.
statusstring
Status batch.
output_file_idstring|null
ID file output setelah selesai.

Otorisasi

BearerAuth
AuthorizationBearer <token>

Autentikasi API Key. Buat atau kelola API key di Dashboard > API > API Keys.

Lokasi: header

Header

X-TokenLab-Delivery-Policy?string

Kebijakan Pengiriman per-permintaan. Menggantikan default API key dan Workspace. Secara otomatis mencoba TokenLab Verified terlebih dahulu dan dapat beralih satu kali ke Official saja sebelum output, penerimaan permintaan, atau pembuatan sumber daya persisten.

Nilai yang tersedia

  • "auto"
  • "verified"
  • "official"

Body permintaan

application/json

Respons

application/json

application/json

application/json

application/json

application/json