Temel kılavuzlar
Hız sınırları
İstek sınırınızı öğrenin ve 429 yanıtından sonra kurtarma yapın
Hesap seviyeniz, dakikada kaç API isteği gönderebileceğinizi belirler. Sınıra ulaştığınızda, API 429 rate_limit_exceeded hatası ve bir Retry-After başlığı döndürür.
Aşağıdaki sınırlar standart seviye değerleridir ve aktif yapılandırmaya göre değişebilir. Kimliği doğrulanmış istekler için bu sınırlar her API anahtarı için ayrı ayrı uygulanır. GET /v1/models gibi genel keşif uç noktalarının ayrı sınırları vardır. Bir 429 hatası aldığınızda, kopyalanmış bir tablonun aktif sınır olduğunu varsaymak yerine, döndürülen X-RateLimit-Limit ve Retry-After değerlerini kullanın.
Hesap sınırları
| Seviye | Dakikadaki istek sayısı |
|---|---|
| User | 1,000 |
| Partner | 10,000 |
| VIP | 10,000 |
Farklı bir sınıra mı ihtiyacınız var? Hesap e-postanız, beklenen istek hacminiz ve kullanım durumunuz ile birlikte hello@tokenlab.sh adresine e-posta gönderin.
429 yanıtı
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}Bir 429 yanıtı şu başlıkları taşır:
| Başlık | Anlamı |
|---|---|
Retry-After | Bir sonraki istekten önce beklenecek saniye sayısı |
X-RateLimit-Limit | Bu API anahtarı için dakikada izin verilen istek sayısı |
X-RateLimit-Remaining | Mevcut pencerede kalan istek sayısı |
X-RateLimit-Reset | Pencerenin sıfırlanacağı Unix zamanı (saniye cinsinden) |
Retry-After: 8Tek bir IP adresinden tekrarlanan başarısız kimlik doğrulama denemeleri de sınırlandırılmıştır. Bir dakika içinde yaklaşık 20 başarısız denemeden sonra, API Too many failed authentication attempts. Please retry later. mesajı ve bir Retry-After başlığı ile 429 hatası döndürür. 401 hatasını tekrar denemek yerine API anahtarını düzeltin.
Sunucu gecikmesinden sonra tekrar deneyin
Mevcut olduğunda Retry-After değerini kullanın. Eğer eksikse, rastgele sapma (jitter) içeren üstel geri çekilme (exponential backoff) yöntemini kullanın. Yoğun bir kuyruğun sonsuza kadar büyümemesi için her zaman bir yeniden deneme sınırı belirleyin.
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)Trafiği sınırın altında tutun
- Uygulamanız büyük istek patlamaları oluşturabildiğinde istekleri kuyruğa alın.
- Eşzamanlılığı ve dakikadaki ortalama istek sayısını sınırlandırın.
- Yalnızca yeniden kullanımı güvenli ve yararlı olan sonuçları önbelleğe alın.
- Doğrulama, kimlik doğrulama, bakiye veya izin hatalarını tekrar denemeyin.
- Tek bir istemcinin uygulamanızın geri kalanını engellememesi için API anahtarına göre tekrarlanan
429yanıtlarını takip edin.
Daha hızlı bir model, hesabınızın istek sınırını artırmaz. Model hızı, token sınırları ve hesap hız sınırları birbirinden ayrı kısıtlamalardır.