Haystack

AperçuCopy Anchor Link

Le OpenAIChatGenerator de Haystack prend en charge les déploiements personnalisés compatibles avec OpenAI via api_base_url. Pointez-le vers TokenLab et fournissez une clé API TokenLab.

EnvironnementCopy Anchor Link

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

GénérateurCopy Anchor Link

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
    api_base_url="https://api.tokenlab.sh/v1",
    model="claude-sonnet-5",
)

response = generator.run(
    messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)

Remarques sur les endpointsCopy Anchor Link

Utilisez ce chemin pour les pipelines de génération de chat Haystack. Pour les embeddings, configurez le composant d'embedding Haystack correspondant avec l'URL de base /v1 de TokenLab si votre pipeline utilise les embeddings TokenLab.