Framework & platform
DSPy
Konfigurasikan TokenLab sebagai model bahasa yang kompatibel dengan OpenAI di DSPy
Gambaran Umum
DSPy dapat memanggil TokenLab dengan menggunakan prefiks penyedia openai/ bersama endpoint /v1 TokenLab yang kompatibel dengan OpenAI.
Lingkungan
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Konfigurasi DSPy
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)Menggunakan Modul
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)ID Model berubah seiring waktu. Pilih model chat terkini di halaman Model, lalu bandingkan pada program DSPy Anda sendiri.