框架與平台
DSPy
在 DSPy 中將 TokenLab 配置為 OpenAI 相容的語言模型
概覽
DSPy 可以透過使用 openai/ 提供者前綴,並搭配 TokenLab 的 OpenAI 相容 /v1 端點來呼叫 TokenLab。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"配置 DSPy
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)使用模組
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)模型 ID 會隨時間變更。請在 Models 頁面 選擇目前的聊天模型,然後在您的 DSPy 程式中進行比對。