フレームワークとプラットフォーム
LiteLLM
LiteLLM を TokenLab の OpenAI 互換エンドポイントまたはチームゲートウェイの一部として使用します
概要
LiteLLM と TokenLab は、主に 2 つの形で組み合わせられます。
- TokenLab を LiteLLM の背後にある OpenAI 互換エンドポイント として使う
- LiteLLM を TokenLab の前段に置き、virtual key、モデル選択ポリシー、集中 observability を担わせる
TokenLab では、LiteLLM の custom OpenAI / OpenAI 互換 パスを使い、api_base を https://api.tokenlab.sh/v1 に向けるのが最も扱いやすい標準構成です。
Claude-native や Gemini-native の request shape が必要な場合は、LiteLLM の OpenAI 互換 抽象に押し込むのではなく、TokenLab 側の native integration を優先してください。
インストール
pip install 'litellm[proxy]'Proxy 設定
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY起動:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000OpenAI SDK から呼び出す
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Python ライブラリから直接呼び出す
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)ベストプラクティス
- TokenLab はまず
custom_openaiエンドポイントとして扱う - 追加の gateway 層が本当に必要なときだけ LiteLLM を前段に置く
- プロバイダー固有の細部まで OpenAI 互換 経路で過度に期待しない