Panduan inti
Batas limit (Rate limits)
Temukan batas permintaan Anda dan cara memulihkan diri dari respons 429
Tingkat akun Anda menentukan berapa banyak permintaan API yang dapat Anda kirim setiap menit. Ketika Anda mencapai batas tersebut, API akan mengembalikan 429 rate_limit_exceeded dan header Retry-After.
Batas di bawah ini adalah nilai tingkat standar dan dapat berubah sesuai dengan konfigurasi yang aktif. Untuk permintaan terautentikasi, batas ini diberlakukan per API key. Endpoint penemuan publik seperti GET /v1/models memiliki batas terpisah. Saat menerima 429, gunakan nilai X-RateLimit-Limit dan Retry-After yang dikembalikan alih-alih berasumsi bahwa tabel yang disalin adalah batas yang aktif.
Batas akun
| Tingkat | Permintaan per menit |
|---|---|
| User | 1.000 |
| Partner | 10.000 |
| VIP | 10.000 |
Membutuhkan batas yang berbeda? Kirim email ke hello@tokenlab.sh dengan menyertakan email akun Anda, perkiraan volume permintaan, dan kasus penggunaan Anda.
Respons 429
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}Respons 429 membawa header berikut:
| Header | Arti |
|---|---|
Retry-After | Detik untuk menunggu sebelum permintaan berikutnya |
X-RateLimit-Limit | Permintaan yang diizinkan per menit untuk API key ini |
X-RateLimit-Remaining | Sisa permintaan dalam jendela saat ini |
X-RateLimit-Reset | Waktu Unix dalam detik saat jendela diatur ulang |
Retry-After: 8Kegagalan autentikasi berulang dari satu alamat IP juga dibatasi. Setelah sekitar 20 kegagalan dalam satu menit, API akan mengembalikan 429 dengan pesan Too many failed authentication attempts. Please retry later. dan header Retry-After. Perbaiki API key Anda alih-alih mencoba ulang 401.
Coba ulang setelah penundaan server
Gunakan Retry-After jika tersedia. Jika tidak ada, gunakan exponential backoff dengan random jitter. Selalu tetapkan batas percobaan ulang agar antrean yang sibuk tidak tumbuh tanpa batas.
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)Jaga lalu lintas di bawah batas
- Antrekan permintaan saat aplikasi Anda dapat menghasilkan lonjakan besar.
- Batasi konkurensi serta rata-rata permintaan per menit.
- Hanya cache hasil yang aman dan berguna untuk digunakan kembali.
- Jangan mencoba ulang kesalahan validasi, autentikasi, saldo, atau izin.
- Lacak respons
429yang berulang berdasarkan API key agar satu klien tidak memadati sisa aplikasi Anda.
Model yang lebih cepat tidak meningkatkan batas permintaan akun Anda. Kecepatan model, batas token, dan batas limit akun adalah batasan yang terpisah.