フレームワークとプラットフォーム

LiteLLM

LiteLLM を TokenLab に接続する

概要

LiteLLM では、以下の2つの方法で TokenLab を利用できます:

  • LiteLLM のバックエンドとして TokenLab を OpenAI 互換エンドポイント として使用する
  • チームで仮想キー、エイリアス、ログなども必要な場合に、LiteLLM のゲートウェイを使用する

Chat Completions の場合は、LiteLLM の custom OpenAI / OpenAI-compatible クライアントに https://api.tokenlab.sh/v1 を設定します。

アプリケーションで Claude Messages や Gemini のフィールドが必要な場合は、その API 形式を維持する連携を使用してください。

インストール

pip install 'litellm[proxy]'

プロキシの設定

次のように litellm-config.yaml を作成します:

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

  - model_name: tokenlab-claude-sonnet
    litellm_params:
      model: custom_openai/claude-sonnet-4-6
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

プロキシを起動します:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

OpenAI SDK 経由での LiteLLM の呼び出し

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://127.0.0.1:4000"
)

response = client.chat.completions.create(
    model="tokenlab-gpt-5.4",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

Python での直接利用

プロキシの代わりに LiteLLM を Python ライブラリとして使用する場合は、同じ TokenLab のベース URL を設定します:

import litellm

response = litellm.completion(
    model="custom_openai/gpt-5.4",
    api_base="https://api.tokenlab.sh/v1",
    api_key="sk-your-tokenlab-key",
    messages=[{"role": "user", "content": "Summarize this repo."}]
)

ベストプラクティス

トラブルシューティング

このページの内容