Hướng dẫn cốt lõi
Giới hạn tốc độ (Rate limits)
Tìm hiểu giới hạn yêu cầu của bạn và cách xử lý phản hồi 429
Cấp tài khoản của bạn xác định số lượng yêu cầu API mà bạn có thể gửi mỗi phút. Khi bạn đạt đến giới hạn, API sẽ trả về 429 rate_limit_exceeded cùng với tiêu đề Retry-After.
Các giới hạn dưới đây là giá trị tiêu chuẩn theo cấp độ và có thể thay đổi tùy theo cấu hình đang hoạt động. Đối với các yêu cầu đã xác thực, các giới hạn này được áp dụng cho mỗi API key. Các điểm cuối khám phá công khai (public discovery endpoints) như GET /v1/models có các giới hạn riêng. Khi gặp lỗi 429, hãy sử dụng các giá trị X-RateLimit-Limit và Retry-After được trả về thay vì giả định rằng bảng sao chép là giới hạn đang áp dụng.
Giới hạn tài khoản
| Cấp độ | Yêu cầu mỗi phút |
|---|---|
| User | 1,000 |
| Partner | 10,000 |
| VIP | 10,000 |
Bạn cần một giới hạn khác? Hãy gửi email đến hello@tokenlab.sh kèm theo email tài khoản, lưu lượng yêu cầu dự kiến và trường hợp sử dụng của bạn.
Phản hồi 429
{
"error": {
"message": "Rate limit exceeded (1000/min for user role). Please retry later.",
"type": "rate_limit_exceeded",
"code": "rate_limit_exceeded",
"retryable": true,
"retry_after": 8,
"hint": "Rate limited. Retry after 8s. Current limit: 1000/min for user role."
}
}Phản hồi 429 bao gồm các tiêu đề sau:
| Tiêu đề | Ý nghĩa |
|---|---|
Retry-After | Số giây cần chờ trước khi thực hiện yêu cầu tiếp theo |
X-RateLimit-Limit | Số yêu cầu được phép mỗi phút cho API key này |
X-RateLimit-Remaining | Số yêu cầu còn lại trong cửa sổ hiện tại |
X-RateLimit-Reset | Thời gian Unix tính bằng giây khi cửa sổ đặt lại |
Retry-After: 8Việc xác thực thất bại lặp đi lặp lại từ một địa chỉ IP cũng bị giới hạn. Sau khoảng 20 lần thất bại trong một phút, API sẽ trả về 429 với thông báo Too many failed authentication attempts. Please retry later. và tiêu đề Retry-After. Hãy sửa lại API key thay vì thử lại lỗi 401.
Thử lại sau độ trễ của máy chủ
Hãy sử dụng Retry-After khi nó xuất hiện. Nếu không có, hãy sử dụng cơ chế exponential backoff với random jitter. Luôn đặt giới hạn thử lại để hàng đợi bận rộn không thể phát triển vô hạn.
import random
import time
from openai import RateLimitError
def chat_with_rate_limit_retry(client, model, messages, attempts=4):
for attempt in range(attempts):
try:
return client.with_options(max_retries=0).chat.completions.create(
model=model,
messages=messages,
)
except RateLimitError as exc:
if attempt == attempts - 1:
raise
header = exc.response.headers.get("Retry-After")
wait = float(header) if header else min(30, 2 ** attempt + random.random())
time.sleep(wait)Giữ lưu lượng truy cập dưới giới hạn
- Xếp hàng các yêu cầu khi ứng dụng của bạn có thể tạo ra các đợt bùng nổ lưu lượng lớn.
- Giới hạn cả tính đồng thời (concurrency) và số lượng yêu cầu trung bình mỗi phút.
- Chỉ lưu vào bộ nhớ đệm (cache) những kết quả an toàn và hữu ích để tái sử dụng.
- Không thử lại các lỗi xác thực, cấp quyền, số dư hoặc lỗi xác thực dữ liệu.
- Theo dõi các phản hồi
429lặp lại theo API key để một client không thể chiếm dụng tài nguyên của phần còn lại trong ứng dụng của bạn.
Một model nhanh hơn không làm tăng giới hạn yêu cầu của tài khoản bạn. Tốc độ model, giới hạn token và giới hạn tốc độ tài khoản là các ràng buộc riêng biệt.