Guias principais

Limites de taxa

Encontre seu limite de requisições e saiba como recuperar-se de uma resposta 429

O nível da sua conta determina quantas requisições de API você pode enviar por minuto. Quando você atinge o limite, a API retorna 429 rate_limit_exceeded e um cabeçalho Retry-After.

Os limites abaixo são os valores padrão do nível e podem mudar com a configuração ativa. Para requisições autenticadas, esses limites são aplicados por chave de API. Endpoints de descoberta pública, como GET /v1/models, possuem limites separados. Em caso de erro 429, utilize os valores retornados em X-RateLimit-Limit e Retry-After em vez de assumir que uma tabela copiada é o limite ativo.

Limites da conta

NívelRequisições por minuto
User1.000
Partner10.000
VIP10.000

Precisa de um limite diferente? Envie um e-mail para hello@tokenlab.sh com o e-mail da sua conta, o volume esperado de requisições e o seu caso de uso.

Resposta 429

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

Uma resposta 429 carrega estes cabeçalhos:

CabeçalhoSignificado
Retry-AfterSegundos para aguardar antes da próxima requisição
X-RateLimit-LimitRequisições permitidas por minuto para esta chave de API
X-RateLimit-RemainingRequisições restantes na janela atual
X-RateLimit-ResetTempo Unix em segundos quando a janela é reiniciada
Retry-After: 8

Falhas repetidas de autenticação a partir de um único endereço IP também são limitadas. Após cerca de 20 falhas em um minuto, a API retorna 429 com a mensagem Too many failed authentication attempts. Please retry later. e um cabeçalho Retry-After. Corrija a chave de API em vez de tentar novamente após um erro 401.

Tente novamente após o atraso do servidor

Use o Retry-After quando ele estiver presente. Se estiver ausente, use exponential backoff com jitter aleatório. Sempre defina um limite de tentativas para que uma fila ocupada não cresça indefinidamente.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Mantenha o tráfego abaixo do limite

  • Coloque requisições em fila quando sua aplicação puder gerar grandes picos.
  • Limite a concorrência, bem como a média de requisições por minuto.
  • Armazene em cache apenas resultados que sejam seguros e úteis para reutilização.
  • Não tente novamente erros de validação, autenticação, saldo ou permissão.
  • Monitore respostas 429 repetidas por chave de API para que um cliente não sobrecarregue o restante da sua aplicação.

Um modelo mais rápido não aumenta o limite de requisições da sua conta. A velocidade do modelo, os limites de tokens e os limites de taxa da conta são restrições separadas.

Nesta página