コアガイド
レート制限
リクエスト制限の確認方法と429レスポンスからの復旧方法
アカウントのティアによって、1分間に送信できるAPIリクエスト数が決まります。制限に達すると、APIは 429 rate_limit_exceeded と Retry-After ヘッダーを返します。
以下の制限は標準ティアの値であり、アクティブな構成によって変更される場合があります。認証済みリクエストの場合、これらの制限はAPIキーごとに適用されます。GET /v1/models などのパブリックな探索用エンドポイントには個別の制限があります。429エラーが発生した場合は、コピーされた表の値をアクティブな制限と見なすのではなく、返された X-RateLimit-Limit および Retry-After の値を使用してください。
アカウント制限
| ティア | 1分あたりのリクエスト数 |
|---|---|
| User | 1,000 |
| Partner | 10,000 |
| VIP | 10,000 |
別の制限が必要ですか?アカウントのメールアドレス、想定されるリクエスト量、およびユースケースを記載の上、hello@tokenlab.sh までメールでお問い合わせください。
429レスポンス
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}429 レスポンスには以下のヘッダーが含まれます。
| ヘッダー | 意味 |
|---|---|
Retry-After | 次のリクエストまでに待機すべき秒数 |
X-RateLimit-Limit | このAPIキーに対して許可されている1分あたりのリクエスト数 |
X-RateLimit-Remaining | 現在のウィンドウで残っているリクエスト数 |
X-RateLimit-Reset | ウィンドウがリセットされるUnix時間(秒) |
Retry-After: 8同一IPアドレスからの認証失敗の繰り返しも制限されます。1分間に約20回失敗すると、APIは 429 を返し、メッセージ Too many failed authentication attempts. Please retry later. と Retry-After ヘッダーを送信します。401 エラーを再試行するのではなく、APIキーを修正してください。
サーバー遅延後の再試行
Retry-After が存在する場合はそれを使用してください。存在しない場合は、ランダムなジッター(揺らぎ)を加えた指数バックオフを使用してください。ビジー状態のキューが無限に増大しないよう、必ず再試行回数に制限を設けてください。
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)トラフィックを制限内に維持する
- アプリケーションで大量のバーストが発生する可能性がある場合は、リクエストをキューに入れてください。
- 1分あたりの平均リクエスト数だけでなく、同時実行数も制限してください。
- 再利用が安全かつ有用な結果のみをキャッシュしてください。
- バリデーションエラー、認証エラー、残高不足エラー、権限エラーの再試行は行わないでください。
- 1つのクライアントがアプリケーションの他の部分を圧迫しないよう、APIキーごとに繰り返される
429レスポンスを追跡してください。
モデルの高速化によってアカウントのリクエスト制限が増えることはありません。モデルの速度、トークン制限、およびアカウントのレート制限は、それぞれ個別の制約です。