Berkas & batch
Membuat Batch
Membuat batch dari file JSONL yang diunggah.
Gambaran Umum
Unggah file JSONL dengan purpose=batch, lalu gunakan ID-nya sebagai input_file_id. Batch yang telah selesai akan mengembalikan ID file output dan error.
File input
File tersebut berformat JSONL: satu permintaan per baris, hingga 50.000 baris dan 200 MiB. Untuk /v1/embeddings, jumlah total input di semua baris juga dibatasi hingga 50.000. Setiap baris memerlukan:
custom_id: sebuah string, unik di dalam file.method:POST.url: nilai yang sama denganendpointbatch.body: body permintaan, denganmodel.
{"custom_id": "req-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-5.6-terra", "messages": [{"role": "user", "content": "Hello"}], "max_tokens": 100}}Catatan
- File input batch harus menggunakan
purpose=batch. completion_windowadalah24h, nilai default dan satu-satunya.metadatamenerima hingga 16 pasangan string: kunci maksimal 64 karakter, nilai maksimal 512 karakter.output_expires_aftermengatur kapan file hasil kedaluwarsa:anchoradalahcreated_atataucompleted_at, dansecondsmaksimal 30 hari.- Urutan output mungkin berbeda dari urutan input. Cocokkan setiap hasil berdasarkan
custom_id. - Streaming tidak didukung di dalam item batch.
- Endpoint item yang didukung adalah
/v1/chat/completionsdan/v1/embeddings./v1/responsestidak didukung. - Estimasi biaya akan dicadangkan saat batch dibuat. Saldo yang terlalu rendah akan mengembalikan
402. - File yang tidak valid akan mengembalikan
400denganparamdiatur keinput_file_id, dan pesan akan menyebutkan baris yang bermasalah.
Contoh
Permintaan
curl -X POST "https://api.tokenlab.sh/v1/batches" \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"input_file_id": "file_abc123",
"endpoint": "/v1/chat/completions",
"completion_window": "24h"
}'Harga batch mungkin berbeda dari permintaan sinkron. Periksa tagihan akhir untuk biaya yang dikenakan.
Respons
{
"id": "batch_abc123",
"object": "batch",
"endpoint": "/v1/chat/completions",
"input_file_id": "file_abc123",
"completion_window": "24h",
"status": "validating",
"output_file_id": null,
"error_file_id": null,
"created_at": 1706000000
}Bidang penting
Otorisasi
BearerAuth Autentikasi API Key. Buat atau kelola API key di Dashboard > API > API Keys.
Lokasi: header
Header
Kebijakan Pengiriman per-permintaan. Menggantikan default API key dan Workspace. Secara otomatis mencoba TokenLab Verified terlebih dahulu dan dapat beralih satu kali ke Official saja sebelum output, penerimaan permintaan, atau pembuatan sumber daya persisten.
Nilai yang tersedia
- "auto"
- "verified"
- "official"
Body permintaan
application/json
Respons
application/json
application/json
application/json
application/json
application/json