框架與平台
Haystack
使用 TokenLab 與 Haystack OpenAIChatGenerator
概覽
Haystack 的 OpenAIChatGenerator 透過 api_base_url 支援自訂的 OpenAI 相容部署。將其指向 TokenLab 並提供 TokenLab API key 即可使用。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"生成器
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)端點注意事項
請針對 Haystack 聊天生成器管線使用此路徑。若您的管線使用 TokenLab 嵌入(embeddings),請使用 TokenLab 的 /v1 基礎 URL 來設定對應的 Haystack 嵌入元件。