배치 생성

개요Copy Anchor Link

이 엔드포인트는 TokenLab의 OpenAI 호환 배치 API의 일부입니다. 배치 작업은 업로드된 JSONL 파일을 사용하며 비동기적으로 실행되며 나중에 출력/오류 파일을 반환할 수 있습니다.

주의사항Copy Anchor Link

• 배치 입력 파일은 purpose=batch를 사용해야 합니다.
• completion_window는 현재 24h입니다.
• 출력 순서는 보장되지 않으며, 항상 custom_id로 일치시켜야 합니다.
• 배치 항목 내에서 스트리밍은 지원되지 않습니다.
• 지원하는 배치 항목 엔드포인트는 /v1/chat/completions와 /v1/embeddings입니다. /v1/responses는 지원하지 않습니다.

curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

요청 / 응답Copy Anchor Link

정확한 스키마는 위의 대화형 OpenAPI 패널을 사용하세요.

운영 팁Copy Anchor Link

• 멱등성 있는 다운스트림 조정을 위해 custom_id를 사용하세요.
• 작업자가 배치를 완료한 후에만 output_file_id와 error_file_id를 기대하세요.

{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

중요 필드Copy Anchor Link