Temel kılavuzlar

Hız sınırları

İstek sınırınızı öğrenin ve 429 yanıtından sonra kurtarma yapın

Hesap seviyeniz, dakikada kaç API isteği gönderebileceğinizi belirler. Sınıra ulaştığınızda, API 429 rate_limit_exceeded hatası ve bir Retry-After başlığı döndürür.

Aşağıdaki sınırlar standart seviye değerleridir ve aktif yapılandırmaya göre değişebilir. Kimliği doğrulanmış istekler için bu sınırlar her API anahtarı için ayrı ayrı uygulanır. GET /v1/models gibi genel keşif uç noktalarının ayrı sınırları vardır. Bir 429 hatası aldığınızda, kopyalanmış bir tablonun aktif sınır olduğunu varsaymak yerine, döndürülen X-RateLimit-Limit ve Retry-After değerlerini kullanın.

Hesap sınırları

SeviyeDakikadaki istek sayısı
User1,000
Partner10,000
VIP10,000

Farklı bir sınıra mı ihtiyacınız var? Hesap e-postanız, beklenen istek hacminiz ve kullanım durumunuz ile birlikte hello@tokenlab.sh adresine e-posta gönderin.

429 yanıtı

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

Bir 429 yanıtı şu başlıkları taşır:

BaşlıkAnlamı
Retry-AfterBir sonraki istekten önce beklenecek saniye sayısı
X-RateLimit-LimitBu API anahtarı için dakikada izin verilen istek sayısı
X-RateLimit-RemainingMevcut pencerede kalan istek sayısı
X-RateLimit-ResetPencerenin sıfırlanacağı Unix zamanı (saniye cinsinden)
Retry-After: 8

Tek bir IP adresinden tekrarlanan başarısız kimlik doğrulama denemeleri de sınırlandırılmıştır. Bir dakika içinde yaklaşık 20 başarısız denemeden sonra, API Too many failed authentication attempts. Please retry later. mesajı ve bir Retry-After başlığı ile 429 hatası döndürür. 401 hatasını tekrar denemek yerine API anahtarını düzeltin.

Sunucu gecikmesinden sonra tekrar deneyin

Mevcut olduğunda Retry-After değerini kullanın. Eğer eksikse, rastgele sapma (jitter) içeren üstel geri çekilme (exponential backoff) yöntemini kullanın. Yoğun bir kuyruğun sonsuza kadar büyümemesi için her zaman bir yeniden deneme sınırı belirleyin.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Trafiği sınırın altında tutun

  • Uygulamanız büyük istek patlamaları oluşturabildiğinde istekleri kuyruğa alın.
  • Eşzamanlılığı ve dakikadaki ortalama istek sayısını sınırlandırın.
  • Yalnızca yeniden kullanımı güvenli ve yararlı olan sonuçları önbelleğe alın.
  • Doğrulama, kimlik doğrulama, bakiye veya izin hatalarını tekrar denemeyin.
  • Tek bir istemcinin uygulamanızın geri kalanını engellememesi için API anahtarına göre tekrarlanan 429 yanıtlarını takip edin.

Daha hızlı bir model, hesabınızın istek sınırını artırmaz. Model hızı, token sınırları ve hesap hız sınırları birbirinden ayrı kısıtlamalardır.

Bu sayfada