Frameworks & Plattformen
DSPy
Konfigurieren Sie TokenLab als OpenAI-kompatibles Sprachmodell in DSPy
Überblick
DSPy kann TokenLab unter Verwendung des openai/-Provider-Präfixes mit dem OpenAI-kompatiblen /v1-Endpunkt von TokenLab aufrufen.
Typ: Programmier-Framework
Primärer Pfad: OpenAI-kompatible Sprachmodellaufrufe
Support-Vertrauen: Unterstützter benutzerdefinierter Endpunktpfad
Umgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"DSPy konfigurieren
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)Ein Modul verwenden
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)Modellvorschläge
Verwenden Sie gpt-5.4-mini für schnelle Experimente, claude-sonnet-5 für stärkere Reasoning-Traces und deepseek-v4-flash für schnelle Iterationsschleifen.