Frameworks & Plattformen
Haystack
Verwenden Sie TokenLab mit dem Haystack OpenAIChatGenerator
Überblick
Der OpenAIChatGenerator von Haystack unterstützt benutzerdefinierte OpenAI-kompatible Deployments über api_base_url. Verweisen Sie ihn auf TokenLab und geben Sie einen TokenLab API-Key an.
Typ: RAG- und Pipeline-Framework
Primärer Pfad: OpenAI-kompatible Chat Completions
Support-Vertrauen: Unterstützter OpenAI-kompatibler Pfad
Umgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generator
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Endpunkt-Hinweise
Verwenden Sie diesen Pfad für Haystack Chat-Generator-Pipelines. Konfigurieren Sie für Embeddings die entsprechende Haystack-Embedding-Komponente mit der /v1 Basis-URL von TokenLab, falls Ihre Pipeline TokenLab-Embeddings verwendet.