Chọn Auto, TokenLab Verified hoặc Official cho mỗi yêu cầu, với giá được hiển thị ngay từ đầu. Xem có gì mới

Blog TokenLab

Hướng dẫn, mô hình và cập nhật sản phẩm

Responses API so với Chat Completions cho các Agent: Lựa chọn một hợp đồng
Góc nhìn

Responses API so với Chat Completions cho các Agent: Lựa chọn một hợp đồng

Sự khác biệt giữa Responses API và Chat Completions nằm ở việc ai là người quản lý trạng thái hội thoại, và hướng dẫn này cung cấp một bảng quyết định đi kèm với các yêu cầu tương ứng, sự khác biệt về công cụ và streaming, kiểm tra định dạng theo từng model, cùng một danh sách kiểm tra để chuyển đổi.

19 tháng 9
Độ trễ (Latency) so với Thông lượng (Throughput) của LLM: Cách người mua API nên đo lường tốc độ
Góc nhìn

Độ trễ (Latency) so với Thông lượng (Throughput) của LLM: Cách người mua API nên đo lường tốc độ

Một mẫu streaming bốn mô hình đã cũ từ TokenLab cho thấy lý do tại sao thời gian hiển thị token đầu tiên (first visible token), tổng thời gian và số lượng token mỗi giây (tokens per second) phải được đo lường riêng biệt, cùng với một bộ công cụ (harness), các tiêu đề (headers) để ghi nhật ký và tính toán giới hạn tốc độ (rate-limit).

19 tháng 9