Créer un lot (Batch)

AperçuCopy Anchor Link

Téléchargez un fichier JSONL avec purpose=batch, puis utilisez son ID comme input_file_id. Les lots terminés renvoient les ID des fichiers de sortie et d'erreur.

RemarquesCopy Anchor Link

• Les fichiers d'entrée de lot doivent utiliser purpose=batch.
• completion_window est actuellement de 24h.
• L'ordre de sortie peut différer de l'ordre d'entrée. Faites correspondre chaque résultat via custom_id.
• Le streaming n'est pas pris en charge au sein des éléments de lot.
• Les endpoints d'éléments pris en charge sont /v1/chat/completions et /v1/embeddings. /v1/responses n'est pas pris en charge.

ExempleCopy Anchor Link

curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

Les tarifs des lots peuvent différer des requêtes synchrones. Utilisez le prix indiqué lors de la création du lot et de la facturation finale.

{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

Champs importantsCopy Anchor Link