Frameworks e plataformas
DSPy
Configure o TokenLab como um modelo de linguagem compatível com OpenAI no DSPy
Visão Geral
O DSPy pode chamar o TokenLab usando o prefixo de provedor openai/ com o endpoint /v1 do TokenLab, que é compatível com a OpenAI.
Ambiente
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Configurar o DSPy
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)Usar um Módulo
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)Os IDs dos modelos mudam com o tempo. Escolha um modelo de chat atual na página de Modelos e, em seguida, compare-o em seu próprio programa DSPy.