Framework & platform
Haystack
Gunakan TokenLab dengan Haystack OpenAIChatGenerator
Gambaran Umum
OpenAIChatGenerator dari Haystack mendukung deployment yang kompatibel dengan OpenAI melalui api_base_url. Arahkan ke TokenLab dan berikan API key TokenLab Anda.
Tipe: Framework RAG dan pipeline
Jalur Utama: Chat Completions yang kompatibel dengan OpenAI
Tingkat Dukungan: Jalur yang kompatibel dengan OpenAI didukung
Lingkungan
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generator
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Catatan Endpoint
Gunakan jalur ini untuk pipeline chat generator Haystack. Untuk embedding, konfigurasikan komponen embedding Haystack yang sesuai dengan base URL /v1 milik TokenLab jika pipeline Anda menggunakan embedding TokenLab.