TokenLab

框架與平台

DSPy

在 DSPy 中將 TokenLab 配置為 OpenAI 相容的語言模型

概覽

DSPy 可以透過使用 openai/ 提供者前綴,並搭配 TokenLab 的 OpenAI 相容 /v1 端點來呼叫 TokenLab。

環境設定

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

配置 DSPy

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

使用模組

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

模型 ID 會隨時間變更。請在 Models 頁面 選擇目前的聊天模型,然後在您的 DSPy 程式中進行比對。

本頁內容