Guides essentiels
Limites de débit
Découvrez votre limite de requêtes et comment gérer une réponse 429
Votre niveau de compte détermine le nombre de requêtes API que vous pouvez envoyer chaque minute. Lorsque vous atteignez cette limite, l'API renvoie une erreur 429 rate_limit_exceeded accompagnée d'un en-tête Retry-After.
Les limites ci-dessous correspondent aux valeurs du niveau standard et peuvent varier en fonction de la configuration active. Pour les requêtes authentifiées, ces limites sont appliquées par clé API. Les points de terminaison de découverte publics tels que GET /v1/models possèdent des limites distinctes. En cas d'erreur 429, utilisez les valeurs X-RateLimit-Limit et Retry-After renvoyées au lieu de supposer que les valeurs d'un tableau copié correspondent à votre limite active.
Limites de compte
| Niveau | Requêtes par minute |
|---|---|
| User | 1 000 |
| Partner | 10 000 |
| VIP | 10 000 |
Besoin d'une limite différente ? Envoyez un e-mail à hello@tokenlab.sh en précisant l'adresse e-mail de votre compte, le volume de requêtes attendu et votre cas d'utilisation.
Réponse 429
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}Une réponse 429 contient les en-têtes suivants :
| En-tête | Signification |
|---|---|
Retry-After | Secondes à attendre avant la prochaine requête |
X-RateLimit-Limit | Requêtes autorisées par minute pour cette clé API |
X-RateLimit-Remaining | Requêtes restantes dans la fenêtre actuelle |
X-RateLimit-Reset | Temps Unix en secondes lors de la réinitialisation de la fenêtre |
Retry-After: 8Les échecs d'authentification répétés provenant d'une même adresse IP sont également limités. Après environ 20 échecs en une minute, l'API renvoie une erreur 429 avec le message Too many failed authentication attempts. Please retry later. et un en-tête Retry-After. Corrigez votre clé API au lieu de réessayer après une erreur 401.
Réessayer après le délai du serveur
Utilisez Retry-After lorsqu'il est présent. S'il est absent, utilisez un backoff exponentiel avec une gigue aléatoire (jitter). Définissez toujours une limite de tentatives pour éviter qu'une file d'attente saturée ne croisse indéfiniment.
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)Maintenir le trafic sous la limite
- Mettez les requêtes en file d'attente lorsque votre application est susceptible de générer de grands pics de trafic.
- Limitez la concurrence ainsi que la moyenne des requêtes par minute.
- Mettez en cache uniquement les résultats sûrs et utiles à réutiliser.
- Ne réessayez pas en cas d'erreurs de validation, d'authentification, de solde ou de permission.
- Suivez les réponses
429répétées par clé API afin qu'un client ne puisse pas saturer le reste de votre application.
Un modèle plus rapide n'augmente pas la limite de requêtes de votre compte. La vitesse du modèle, les limites de jetons (tokens) et les limites de débit du compte sont des contraintes distinctes.