Tạo Hoàn Thiện Cuộc Trò Chuyện

ID của mô hình để sử dụng. Xem Models để biết các tùy chọn có sẵn.

Danh sách các tin nhắn tạo thành cuộc trò chuyện.

Mỗi đối tượng tin nhắn chứa:

• role (string): system, developer, user, assistant, tool, function
• content (string | array | null): Nội dung tin nhắn

Với tin nhắn assistant chứa tool_calls, có thể bỏ qua content hoặc đặt thành null.

Khi content là một mảng, TokenLab hỗ trợ các khối đa phương tiện có cấu trúc cho các mô hình tương thích:

• text: { "type": "text", "text": "..." }
• hình ảnh: { "type": "image_url", "image_url": { "url": "https://..." } }
• video: { "type": "video_url", "video_url": { "url": "https://..." } }
• âm thanh: { "type": "audio_url", "audio_url": { "url": "https://..." } }

Với đầu vào đa phương tiện, hãy dùng URL https có thể truy cập công khai. Các loại phương tiện được hỗ trợ phụ thuộc vào mô hình đã chọn.

Nhiệt độ lấy mẫu. Khả năng hỗ trợ, giá trị hợp lệ và giá trị mặc định phụ thuộc vào mô hình đã chọn. Bỏ qua trường này để dùng mặc định của mô hình.

Số token tối đa được sinh.

Nếu true, các delta tin nhắn từng phần sẽ được gửi dưới dạng sự kiện SSE.

Các tùy chọn cho streaming. Đặt include_usage: true để nhận thông tin sử dụng token trong các đoạn stream.

Tham số Nucleus sampling. Chúng tôi khuyến nghị điều chỉnh tham số này hoặc temperature, không cả hai.

Số trong khoảng -2.0 đến 2.0. Giá trị dương phạt các token lặp lại.

Số trong khoảng -2.0 đến 2.0. Giá trị dương phạt các token đã xuất hiện trong văn bản.

Chuỗi dừng hoặc danh sách chuỗi. Khả năng hỗ trợ và giới hạn số chuỗi phụ thuộc vào mô hình đã chọn.

Danh sách các công cụ mà mô hình có thể gọi (gọi hàm).

Điều khiển cách mô hình sử dụng công cụ. Tùy chọn: auto, none, required, hoặc một đối tượng công cụ cụ thể.

Cho phép nhiều lệnh gọi công cụ trong một lượt của trợ lý, nếu mô hình đã chọn hỗ trợ.

Số token tối đa cho phần completion. Thay thế cho max_tokens, hữu ích cho các họ mô hình mới hỗ trợ reasoning.

Mức độ suy luận cho mô hình có hỗ trợ. Giá trị hợp lệ phụ thuộc vào mô hình đã chọn.

Seed lấy mẫu cho mô hình có hỗ trợ. Không bảo đảm đầu ra giống hệt nhau.

Số completions cần sinh (1-128).

Có trả về log probabilities hay không.

Số log probabilities hàng đầu cần trả về (0-20). Yêu cầu logprobs: true.

Lấy mẫu Top-K cho mô hình có hỗ trợ.

Định dạng phản hồi. Dùng {"type": "json_object"} cho chế độ JSON hoặc {"type": "json_schema", "json_schema": {...}} cho JSON Schema. Khả năng hỗ trợ phụ thuộc vào mô hình đã chọn.

Thay đổi khả năng xuất hiện của các token được chỉ định. Map token IDs (dưới dạng chuỗi) tới giá trị bias từ -100 đến 100.

Một định danh duy nhất đại diện cho người dùng cuối của bạn để giám sát lạm dụng.

Định danh duy nhất cho kết quả hoàn thiện.

Luôn là chat.completion.

Unix timestamp khi kết quả hoàn thiện được tạo.

Mô hình được sử dụng cho completion.

Danh sách các lựa chọn completion.

Mỗi lựa chọn chứa:

• index (integer): Chỉ số của lựa chọn
• message (object): Tin nhắn được sinh ra
• finish_reason (string): Lý do mô hình dừng, chẳng hạn stop, length hoặc tool_calls

Thống kê sử dụng token.

• prompt_tokens (integer): Số token trong prompt
• completion_tokens (integer): Số token trong completion
• total_tokens (integer): Tổng số token đã sử dụng