Framework'ler ve platformlar
Haystack
TokenLab'i Haystack OpenAIChatGenerator ile kullanın
Genel Bakış
Haystack'in OpenAIChatGenerator bileşeni, api_base_url aracılığıyla özel OpenAI uyumlu dağıtımları destekler. Bunu TokenLab'e yönlendirin ve bir TokenLab API anahtarı sağlayın.
Tür: RAG ve pipeline çerçevesi
Birincil Yol: OpenAI uyumlu Chat Completions
Destek Güveni: Desteklenen OpenAI uyumlu yol
Ortam
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generator
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Endpoint Notları
Haystack chat generator pipeline'ları için bu yolu kullanın. Embedding'ler için, eğer pipeline'ınız TokenLab embedding'lerini kullanıyorsa, ilgili Haystack embedding bileşenini TokenLab'in /v1 base URL'si ile yapılandırın.