Panduan inti

Batas limit (Rate limits)

Temukan batas permintaan Anda dan cara memulihkan diri dari respons 429

Tingkat akun Anda menentukan berapa banyak permintaan API yang dapat Anda kirim setiap menit. Ketika Anda mencapai batas tersebut, API akan mengembalikan 429 rate_limit_exceeded dan header Retry-After.

Batas di bawah ini adalah nilai tingkat standar dan dapat berubah sesuai dengan konfigurasi yang aktif. Untuk permintaan terautentikasi, batas ini diberlakukan per API key. Endpoint penemuan publik seperti GET /v1/models memiliki batas terpisah. Saat menerima 429, gunakan nilai X-RateLimit-Limit dan Retry-After yang dikembalikan alih-alih berasumsi bahwa tabel yang disalin adalah batas yang aktif.

Batas akun

TingkatPermintaan per menit
User1.000
Partner10.000
VIP10.000

Membutuhkan batas yang berbeda? Kirim email ke hello@tokenlab.sh dengan menyertakan email akun Anda, perkiraan volume permintaan, dan kasus penggunaan Anda.

Respons 429

{
  "error": {
    "message": "Rate limit exceeded (1000/min for user role). Please retry later.",
    "type": "rate_limit_exceeded",
    "code": "rate_limit_exceeded",
    "retryable": true,
    "retry_after": 8,
    "hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
  }
}

Respons 429 membawa header berikut:

HeaderArti
Retry-AfterDetik untuk menunggu sebelum permintaan berikutnya
X-RateLimit-LimitPermintaan yang diizinkan per menit untuk API key ini
X-RateLimit-RemainingSisa permintaan dalam jendela saat ini
X-RateLimit-ResetWaktu Unix dalam detik saat jendela diatur ulang
Retry-After: 8

Kegagalan autentikasi berulang dari satu alamat IP juga dibatasi. Setelah sekitar 20 kegagalan dalam satu menit, API akan mengembalikan 429 dengan pesan Too many failed authentication attempts. Please retry later. dan header Retry-After. Perbaiki API key Anda alih-alih mencoba ulang 401.

Coba ulang setelah penundaan server

Gunakan Retry-After jika tersedia. Jika tidak ada, gunakan exponential backoff dengan random jitter. Selalu tetapkan batas percobaan ulang agar antrean yang sibuk tidak tumbuh tanpa batas.

import random
import time
from openai import RateLimitError

def chat_with_rate_limit_retry(client, model, messages, attempts=4):
    for attempt in range(attempts):
        try:
            return client.with_options(max_retries=0).chat.completions.create(
                model=model,
                messages=messages,
            )
        except RateLimitError as exc:
            if attempt == attempts - 1:
                raise
            header = exc.response.headers.get("Retry-After")
            wait = float(header) if header else min(30, 2 ** attempt + random.random())
            time.sleep(wait)

Jaga lalu lintas di bawah batas

  • Antrekan permintaan saat aplikasi Anda dapat menghasilkan lonjakan besar.
  • Batasi konkurensi serta rata-rata permintaan per menit.
  • Hanya cache hasil yang aman dan berguna untuk digunakan kembali.
  • Jangan mencoba ulang kesalahan validasi, autentikasi, saldo, atau izin.
  • Lacak respons 429 yang berulang berdasarkan API key agar satu klien tidak memadati sisa aplikasi Anda.

Model yang lebih cepat tidak meningkatkan batas permintaan akun Anda. Kecepatan model, batas token, dan batas limit akun adalah batasan yang terpisah.

Di halaman ini