TokenLab

核心指南

速率限制

了解您的請求限制以及如何處理 429 回應

您的帳戶層級決定了您每分鐘可以發送的 API 請求數量。當您達到限制時,API 會回傳 429 rate_limit_exceeded 以及 Retry-After 標頭。

下方的限制為標準層級數值,可能會隨當前配置而變動。對於已驗證的請求,這些限制是針對每個 API key 執行的。公開的探索端點(例如 GET /v1/models)則有獨立的限制。當收到 429 回應時,請使用回傳的 X-RateLimit-Limit 和 Retry-After 數值,而非假設表格中的數值即為當前生效的限制。

帳戶限制

層級每分鐘請求數
User1,000
Partner10,000
VIP10,000

需要不同的限制嗎?請發送電子郵件至 hello@tokenlab.sh,並提供您的帳戶電子郵件、預期的請求量以及使用案例。

429 回應

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

429 回應包含以下標頭:

標頭含義
Retry-After下次請求前需等待的秒數
X-RateLimit-Limit此 API key 每分鐘允許的請求數
X-RateLimit-Remaining當前視窗內剩餘的請求數
X-RateLimit-Reset視窗重置時的 Unix 時間(秒)
Retry-After: 8

來自單一 IP 位址的重複驗證失敗也會受到限制。在一分鐘內失敗約 20 次後,API 會回傳 429,訊息為 Too many failed authentication attempts. Please retry later. 並附帶 Retry-After 標頭。請修正 API key,而不是重複嘗試 401 錯誤。

在伺服器延遲後重試

當 Retry-After 存在時請務必使用它。如果該標頭缺失,請使用帶有隨機抖動(jitter)的指數退避(exponential backoff)策略。請務必設定重試上限,以防止繁忙的佇列無限增長。

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

將流量保持在限制之下

  • 當您的應用程式可能產生大量突發請求時,請使用佇列處理。
  • 同時限制並發數與平均每分鐘請求數。
  • 僅快取安全且可重複使用的結果。
  • 請勿重試驗證、身份驗證、餘額或權限錯誤。
  • 追蹤每個 API key 的重複 429 回應,以確保單一客戶端不會佔用您應用程式的其他資源。

更快的模型並不會增加您帳戶的請求限制。模型速度、token 限制和帳戶速率限制是獨立的約束條件。

本頁內容