TokenLab

Frameworks et plateformes

DSPy

Configurez TokenLab en tant que modèle de langage compatible OpenAI dans DSPy

Aperçu

DSPy peut appeler TokenLab en utilisant le préfixe de fournisseur openai/ avec le point de terminaison /v1 de TokenLab compatible avec OpenAI.

Environnement

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Configurer DSPy

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

Utiliser un module

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

Les identifiants de modèle changent avec le temps. Choisissez un modèle de chat actuel sur la page Modèles, puis comparez-le dans votre propre programme DSPy.

Sur cette page