フレームワークとプラットフォーム
DSPy
DSPyでTokenLabをOpenAI互換の言語モデルとして設定する
概要
DSPyは、TokenLabのOpenAI互換 /v1 エンドポイントに対して openai/ プロバイダープレフィックスを使用することで、TokenLabを呼び出すことができます。
環境設定
export TOKENLAB_API_KEY="sk-your-tokenlab-key"DSPyの設定
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)モジュールの使用
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)モデルの推奨
迅速な実験には gpt-5.4-mini を、より強力な推論トレースが必要な場合は claude-sonnet-5 を、高速なイテレーションループには deepseek-v4-flash を使用してください。