Frameworks y plataformas
Haystack
Utilice TokenLab con Haystack OpenAIChatGenerator
Descripción general
El OpenAIChatGenerator de Haystack admite implementaciones personalizadas compatibles con OpenAI a través de api_base_url. Apúntelo a TokenLab y proporcione una clave de API de TokenLab.
Entorno
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Generador
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
api_base_url="https://api.tokenlab.sh/v1",
model="claude-sonnet-5",
)
response = generator.run(
messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)Notas sobre el endpoint
Utilice esta ruta para las canalizaciones (pipelines) del generador de chat de Haystack. Para embeddings, configure el componente de embedding de Haystack correspondiente con la URL base /v1 de TokenLab si su canalización utiliza embeddings de TokenLab.