Guías principales

Límites de tasa

Conozca su límite de solicitudes y cómo recuperarse de una respuesta 429

El nivel de su cuenta determina cuántas solicitudes de API puede enviar por minuto. Cuando alcanza el límite, la API devuelve 429 rate_limit_exceeded y un encabezado Retry-After.

Los límites a continuación son los valores del nivel estándar y pueden cambiar según la configuración activa. Para las solicitudes autenticadas, estos límites se aplican por API key. Los endpoints de descubrimiento público, como GET /v1/models, tienen límites separados. Ante un error 429, utilice los valores devueltos X-RateLimit-Limit y Retry-After en lugar de asumir que una tabla copiada es el límite activo.

Límites de cuenta

NivelSolicitudes por minuto
User1,000
Partner10,000
VIP10,000

¿Necesita un límite diferente? Envíe un correo electrónico a hello@tokenlab.sh con el correo electrónico de su cuenta, el volumen de solicitudes esperado y su caso de uso.

Respuesta 429

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

Una respuesta 429 incluye estos encabezados:

EncabezadoSignificado
Retry-AfterSegundos a esperar antes de la siguiente solicitud
X-RateLimit-LimitSolicitudes permitidas por minuto para esta API key
X-RateLimit-RemainingSolicitudes restantes en la ventana actual
X-RateLimit-ResetTiempo Unix en segundos cuando se reinicia la ventana
Retry-After: 8

La autenticación fallida repetida desde una misma dirección IP también está limitada. Después de aproximadamente 20 fallos en un minuto, la API devuelve un 429 con el mensaje Too many failed authentication attempts. Please retry later. y un encabezado Retry-After. Corrija la API key en lugar de reintentar un 401.

Reintento tras el retraso del servidor

Utilice Retry-After cuando esté presente. Si no está presente, utilice retroceso exponencial (exponential backoff) con jitter aleatorio. Establezca siempre un límite de reintentos para que una cola ocupada no pueda crecer indefinidamente.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Mantenga el tráfico por debajo del límite

  • Ponga en cola las solicitudes cuando su aplicación pueda generar grandes ráfagas.
  • Limite tanto la concurrencia como el promedio de solicitudes por minuto.
  • Almacene en caché solo los resultados que sean seguros y útiles de reutilizar.
  • No reintente errores de validación, autenticación, saldo o permisos.
  • Realice un seguimiento de las respuestas 429 repetidas por API key para que un cliente no sature el resto de su aplicación.

Un modelo más rápido no aumenta el límite de solicitudes de su cuenta. La velocidad del modelo, los límites de tokens y los límites de tasa de la cuenta son restricciones independientes.

En esta página