フレームワークとプラットフォーム
Haystack
TokenLabをHaystackのOpenAIChatGeneratorで使用する
概要
Haystackの OpenAIChatGenerator は、 api_base_url を通じてOpenAI互換のカスタムデプロイメントをサポートしています。ここをTokenLabに向け、TokenLabのAPIキーを指定してください。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"ジェネレーター
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)エンドポイントに関する注意点
Haystackのチャットジェネレーターパイプラインにはこのパスを使用してください。埋め込み（embeddings）については、パイプラインでTokenLabの埋め込みを使用する場合、対応するHaystackの埋め込みコンポーネントをTokenLabの /v1 ベースURLで構成してください。