TokenLab

핵심 가이드

Rate limits

요청 제한을 확인하고 429 응답으로부터 복구하는 방법

계정 등급에 따라 분당 보낼 수 있는 API 요청 수가 결정됩니다. 제한에 도달하면 API는 429 rate_limit_exceeded와 Retry-After 헤더를 반환합니다.

아래 제한은 표준 등급 값이며 활성 구성에 따라 변경될 수 있습니다. 인증된 요청의 경우, 이러한 제한은 API 키별로 적용됩니다. GET /v1/models와 같은 공개 검색 엔드포인트에는 별도의 제한이 적용됩니다. 429 응답을 받으면, 복사된 표의 값이 현재 활성 제한이라고 가정하지 말고 반환된 X-RateLimit-Limit 및 Retry-After 값을 사용하십시오.

계정 제한

등급분당 요청 수
User1,000
Partner10,000
VIP10,000

다른 제한이 필요하신가요? 계정 이메일, 예상 요청 볼륨, 사용 사례를 기재하여 hello@tokenlab.sh로 이메일을 보내주십시오.

429 응답

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

429 응답에는 다음과 같은 헤더가 포함됩니다:

헤더의미
Retry-After다음 요청 전까지 대기해야 하는 시간(초)
X-RateLimit-Limit해당 API 키에 대해 분당 허용되는 요청 수
X-RateLimit-Remaining현재 윈도우에서 남은 요청 수
X-RateLimit-Reset윈도우가 초기화되는 Unix 시간(초)
Retry-After: 8

단일 IP 주소에서의 반복적인 인증 실패도 제한됩니다. 1분 동안 약 20회 실패하면, API는 Too many failed authentication attempts. Please retry later. 메시지와 Retry-After 헤더가 포함된 429 응답을 반환합니다. 401 오류를 계속 재시도하지 말고 API 키를 수정하십시오.

서버 지연 후 재시도

Retry-After가 존재할 때는 이를 사용하십시오. 헤더가 없는 경우, 무작위 지터(jitter)를 포함한 지수 백오프(exponential backoff)를 사용하십시오. 바쁜 큐가 무한정 커지지 않도록 항상 재시도 제한을 설정하십시오.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

제한 내 트래픽 유지

  • 애플리케이션에서 대규모 버스트가 발생할 수 있는 경우 요청을 큐에 넣으십시오.
  • 분당 평균 요청 수뿐만 아니라 동시성도 제한하십시오.
  • 안전하고 재사용 가능한 결과만 캐싱하십시오.
  • 유효성 검사, 인증, 잔액 또는 권한 오류는 재시도하지 마십시오.
  • 하나의 클라이언트가 애플리케이션의 나머지 부분을 방해하지 않도록 API 키별로 반복되는 429 응답을 추적하십시오.

더 빠른 모델을 사용한다고 해서 계정의 요청 제한이 늘어나지는 않습니다. 모델 속도, 토큰 제한, 계정 속도 제한은 별개의 제약 사항입니다.

이 페이지의 내용