Membuat Batch

Gambaran UmumCopy Anchor Link

Unggah file JSONL dengan purpose=batch, lalu gunakan ID-nya sebagai input_file_id. Batch yang telah selesai akan mengembalikan ID file output dan error.

CatatanCopy Anchor Link

• File input batch harus menggunakan purpose=batch.
• completion_window saat ini adalah 24h.
• Urutan output mungkin berbeda dari urutan input. Cocokkan setiap hasil berdasarkan custom_id.
• Streaming tidak didukung di dalam item batch.
• Endpoint item yang didukung adalah /v1/chat/completions dan /v1/embeddings. /v1/responses tidak didukung.

ContohCopy Anchor Link

curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

Harga batch mungkin berbeda dari permintaan sinkron. Gunakan harga yang ditampilkan saat membuat batch dan tagihan akhir.

{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

Bidang pentingCopy Anchor Link