İstek sınırları

Dakikalık varsayılan değerler User 1.000, Partner 10.000 ve VIP 10.000’dir; gerçek ayarlar değişebilir. Kimlik doğrulamalı isteklerde bu sınırlar API anahtarı başına uygulanır. GET /v1/models gibi genel keşif uç noktalarının ayrı sınırları vardır. 429 durumunda kopyalanmış tablo yerine X-RateLimit-Limit ve Retry-After değerlerini kullanın.

429 / Retry-AfterCopy Anchor Link

{
  "error": {
    "message": "Rate limit exceeded. Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8
  }
}

Retry-After: 8

Retry-After içindeki saniye kadar bekleyin; yoksa rastgele sapmalı üstel geri çekilme kullanın. Örnek en çok dört deneme yapar, SDK yeniden denemelerini kapatır ve seçili modeli korur.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Eşzamanlılığı sınırlayın, ani yükleri kuyruğa alın ve yalnız güvenle yeniden kullanılabilen sonuçları önbelleğe alın. Doğrulama, kimlik, yetki veya bakiye hatalarını yinelemeyin. Hızlı model istek sınırını artırmaz. Değişiklik için hesap, beklenen hacim ve kullanımınızı support@tokenlab.sh adresine gönderin.