Framework và nền tảng
Haystack
Sử dụng TokenLab với Haystack OpenAIChatGenerator
Tổng quan
OpenAIChatGenerator của Haystack hỗ trợ các triển khai tương thích với OpenAI tùy chỉnh thông qua api_base_url. Hãy trỏ nó đến TokenLab và cung cấp khóa API TokenLab.
Loại: Khung RAG và pipeline
Đường dẫn chính: OpenAI-compatible Chat Completions
Độ tin cậy hỗ trợ: Hỗ trợ đường dẫn tương thích với OpenAI
Môi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generator
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Ghi chú về Endpoint
Sử dụng đường dẫn này cho các pipeline chat generator của Haystack. Đối với embeddings, hãy cấu hình thành phần embedding tương ứng của Haystack với URL cơ sở /v1 của TokenLab nếu pipeline của bạn sử dụng embeddings của TokenLab.