Framework và nền tảng
Haystack
Sử dụng TokenLab với Haystack OpenAIChatGenerator
Tổng quan
OpenAIChatGenerator của Haystack hỗ trợ các triển khai tương thích với OpenAI tùy chỉnh thông qua api_base_url. Hãy trỏ nó đến TokenLab và cung cấp khóa API TokenLab.
Môi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generator
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Lưu ý về Endpoint
Sử dụng đường dẫn này cho các pipeline chat generator của Haystack. Đối với embeddings, hãy cấu hình thành phần embedding tương ứng của Haystack với base URL /v1 của TokenLab nếu pipeline của bạn sử dụng các embedding của TokenLab.