フレームワークとプラットフォーム
DSPy
DSPyでTokenLabをOpenAI互換の言語モデルとして設定する
概要
DSPyは、TokenLabのOpenAI互換 /v1 エンドポイントに対して openai/ プロバイダープレフィックスを使用することで、TokenLabを呼び出すことができます。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"DSPyの設定
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)モジュールの使用
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)モデルIDは時間の経過とともに変更されます。Modelsページで現在のチャットモデルを選択し、ご自身のDSPyプログラムで比較してください。