Guias principais
Limites de taxa
Encontre seu limite de requisições e saiba como recuperar-se de uma resposta 429
O nível da sua conta determina quantas requisições de API você pode enviar por minuto. Quando você atinge o limite, a API retorna 429 rate_limit_exceeded e um cabeçalho Retry-After.
Os limites abaixo são os valores padrão do nível e podem mudar com a configuração ativa. Para requisições autenticadas, esses limites são aplicados por chave de API. Endpoints de descoberta pública, como GET /v1/models, possuem limites separados. Em caso de erro 429, utilize os valores retornados em X-RateLimit-Limit e Retry-After em vez de assumir que uma tabela copiada é o limite ativo.
Limites da conta
| Nível | Requisições por minuto |
|---|---|
| User | 1.000 |
| Partner | 10.000 |
| VIP | 10.000 |
Precisa de um limite diferente? Envie um e-mail para hello@tokenlab.sh com o e-mail da sua conta, o volume esperado de requisições e o seu caso de uso.
Resposta 429
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}Uma resposta 429 carrega estes cabeçalhos:
| Cabeçalho | Significado |
|---|---|
Retry-After | Segundos para aguardar antes da próxima requisição |
X-RateLimit-Limit | Requisições permitidas por minuto para esta chave de API |
X-RateLimit-Remaining | Requisições restantes na janela atual |
X-RateLimit-Reset | Tempo Unix em segundos quando a janela é reiniciada |
Retry-After: 8Falhas repetidas de autenticação a partir de um único endereço IP também são limitadas. Após cerca de 20 falhas em um minuto, a API retorna 429 com a mensagem Too many failed authentication attempts. Please retry later. e um cabeçalho Retry-After. Corrija a chave de API em vez de tentar novamente após um erro 401.
Tente novamente após o atraso do servidor
Use o Retry-After quando ele estiver presente. Se estiver ausente, use exponential backoff com jitter aleatório. Sempre defina um limite de tentativas para que uma fila ocupada não cresça indefinidamente.
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)Mantenha o tráfego abaixo do limite
- Coloque requisições em fila quando sua aplicação puder gerar grandes picos.
- Limite a concorrência, bem como a média de requisições por minuto.
- Armazene em cache apenas resultados que sejam seguros e úteis para reutilização.
- Não tente novamente erros de validação, autenticação, saldo ou permissão.
- Monitore respostas
429repetidas por chave de API para que um cliente não sobrecarregue o restante da sua aplicação.
Um modelo mais rápido não aumenta o limite de requisições da sua conta. A velocidade do modelo, os limites de tokens e os limites de taxa da conta são restrições separadas.