Kernleitfäden

Rate Limits

Hier finden Sie Ihr Anfrage-Limit und erfahren, wie Sie auf eine 429-Antwort reagieren

Ihr Kontotyp bestimmt, wie viele API-Anfragen Sie pro Minute senden können. Wenn Sie das Limit erreichen, gibt die API 429 rate_limit_exceeded sowie einen Retry-After-Header zurück.

Die unten aufgeführten Limits sind die Standardwerte für die jeweilige Stufe und können sich je nach aktiver Konfiguration ändern. Bei authentifizierten Anfragen werden diese Limits pro API-Key durchgesetzt. Öffentliche Discovery-Endpunkte wie GET /v1/models haben separate Limits. Verwenden Sie bei einer 429-Antwort die zurückgegebenen Werte X-RateLimit-Limit und Retry-After, anstatt davon auszugehen, dass eine kopierte Tabelle das aktive Limit darstellt.

Kontolimits

StufeAnfragen pro Minute
User1.000
Partner10.000
VIP10.000

Benötigen Sie ein anderes Limit? Senden Sie eine E-Mail an hello@tokenlab.sh mit Ihrer Konto-E-Mail-Adresse, dem erwarteten Anfragevolumen und Ihrem Anwendungsfall.

429-Antwort

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

Eine 429-Antwort enthält diese Header:

HeaderBedeutung
Retry-AfterSekunden, die vor der nächsten Anfrage gewartet werden müssen
X-RateLimit-LimitErlaubte Anfragen pro Minute für diesen API-Key
X-RateLimit-RemainingVerbleibende Anfragen im aktuellen Zeitfenster
X-RateLimit-ResetUnix-Zeit in Sekunden, zu der das Zeitfenster zurückgesetzt wird
Retry-After: 8

Wiederholte fehlgeschlagene Authentifizierungen von einer IP-Adresse sind ebenfalls begrenzt. Nach etwa 20 Fehlversuchen innerhalb einer Minute gibt die API eine 429-Antwort mit der Meldung Too many failed authentication attempts. Please retry later. und einem Retry-After-Header zurück. Korrigieren Sie den API-Key, anstatt einen 401-Fehler erneut zu versuchen.

Erneuter Versuch nach der Server-Verzögerung

Verwenden Sie Retry-After, wenn dieser Header vorhanden ist. Falls er fehlt, verwenden Sie exponentielles Backoff mit zufälligem Jitter. Legen Sie immer ein Limit für Wiederholungsversuche fest, damit eine ausgelastete Warteschlange nicht unendlich anwächst.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Datenverkehr unter dem Limit halten

  • Stellen Sie Anfragen in eine Warteschlange, wenn Ihre Anwendung große Lastspitzen erzeugen kann.
  • Begrenzen Sie sowohl die Nebenläufigkeit als auch die durchschnittlichen Anfragen pro Minute.
  • Cachen Sie nur Ergebnisse, die sicher und für eine Wiederverwendung nützlich sind.
  • Wiederholen Sie keine Anfragen bei Validierungs-, Authentifizierungs-, Guthaben- oder Berechtigungsfehlern.
  • Verfolgen Sie wiederholte 429-Antworten pro API-Key, damit ein Client nicht den Rest Ihrer Anwendung blockiert.

Ein schnelleres Modell erhöht nicht das Anfrage-Limit Ihres Kontos. Modellgeschwindigkeit, Token-Limits und Konto-Rate-Limits sind separate Einschränkungen.

Auf dieser Seite