框架與平台
LiteLLM
將 LiteLLM 連接到 TokenLab
概觀
LiteLLM 可以透過兩種方式使用 TokenLab:
- 在 LiteLLM 後方將 TokenLab 作為 OpenAI 相容端點使用
- 當您的團隊同時需要虛擬金鑰、別名或日誌時,使用 LiteLLM 的閘道
對於 Chat Completions,請將 LiteLLM 的 custom OpenAI / OpenAI-compatible 客戶端配置為 https://api.tokenlab.sh/v1。
如果您的應用程式需要 Claude Messages 或 Gemini 欄位,請使用保留該 API 格式的整合方式。
安裝
pip install 'litellm[proxy]'Proxy 配置
建立如下的 litellm-config.yaml:
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY啟動 Proxy:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000透過 OpenAI SDK 呼叫 LiteLLM
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)直接在 Python 中使用
如果您將 LiteLLM 作為 Python 函式庫而非 Proxy 使用,請保留相同的 TokenLab base URL:
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)