核心指南
速率限制
了解您的請求限制以及如何處理 429 回應
您的帳戶層級決定了您每分鐘可以發送的 API 請求數量。當您達到限制時,API 會回傳 429 rate_limit_exceeded 以及 Retry-After 標頭。
下方的限制為標準層級數值,可能會隨當前配置而變動。對於已驗證的請求,這些限制是針對每個 API key 執行的。公開的探索端點(例如 GET /v1/models)則有獨立的限制。當收到 429 回應時,請使用回傳的 X-RateLimit-Limit 和 Retry-After 數值,而非假設表格中的數值即為當前生效的限制。
帳戶限制
| 層級 | 每分鐘請求數 |
|---|---|
| User | 1,000 |
| Partner | 10,000 |
| VIP | 10,000 |
需要不同的限制嗎?請發送電子郵件至 hello@tokenlab.sh,並提供您的帳戶電子郵件、預期的請求量以及使用案例。
429 回應
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}429 回應包含以下標頭:
| 標頭 | 含義 |
|---|---|
Retry-After | 下次請求前需等待的秒數 |
X-RateLimit-Limit | 此 API key 每分鐘允許的請求數 |
X-RateLimit-Remaining | 當前視窗內剩餘的請求數 |
X-RateLimit-Reset | 視窗重置時的 Unix 時間(秒) |
Retry-After: 8來自單一 IP 位址的重複驗證失敗也會受到限制。在一分鐘內失敗約 20 次後,API 會回傳 429,訊息為 Too many failed authentication attempts. Please retry later. 並附帶 Retry-After 標頭。請修正 API key,而不是重複嘗試 401 錯誤。
在伺服器延遲後重試
當 Retry-After 存在時請務必使用它。如果該標頭缺失,請使用帶有隨機抖動(jitter)的指數退避(exponential backoff)策略。請務必設定重試上限,以防止繁忙的佇列無限增長。
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)將流量保持在限制之下
- 當您的應用程式可能產生大量突發請求時,請使用佇列處理。
- 同時限制並發數與平均每分鐘請求數。
- 僅快取安全且可重複使用的結果。
- 請勿重試驗證、身份驗證、餘額或權限錯誤。
- 追蹤每個 API key 的重複
429回應,以確保單一客戶端不會佔用您應用程式的其他資源。
更快的模型並不會增加您帳戶的請求限制。模型速度、token 限制和帳戶速率限制是獨立的約束條件。