TokenLab

Framework và nền tảng

Haystack

Sử dụng TokenLab với Haystack OpenAIChatGenerator

Tổng quan

OpenAIChatGenerator của Haystack hỗ trợ các triển khai tương thích với OpenAI tùy chỉnh thông qua api_base_url. Hãy trỏ nó đến TokenLab và cung cấp khóa API TokenLab.

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Generator

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
    api_base_url="https://api.tokenlab.sh/v1",
    model="claude-sonnet-5",
)

response = generator.run(
    messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)

Lưu ý về Endpoint

Sử dụng đường dẫn này cho các pipeline chat generator của Haystack. Đối với embeddings, hãy cấu hình thành phần embedding tương ứng của Haystack với base URL /v1 của TokenLab nếu pipeline của bạn sử dụng các embedding của TokenLab.

Trên trang này