框架与平台
LiteLLM
把 LiteLLM 连接到 TokenLab
概述
LiteLLM 可以通过两种方式使用 TokenLab：
- 把 TokenLab 添加为 OpenAI 兼容服务
- 团队还需要 LiteLLM 的虚拟密钥、别名或日志时，使用 LiteLLM Gateway
使用 Chat Completions 时，在 LiteLLM 的 custom OpenAI / OpenAI 兼容配置中把 api_base 设为 https://api.tokenlab.sh/v1。
应用需要 Claude Messages 或 Gemini 字段时，请使用能够保留对应 API 格式的集成。
安装
pip install 'litellm[proxy]'Proxy 配置
创建一个 litellm-config.yaml：
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY启动代理：
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000通过 OpenAI SDK 调 LiteLLM
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)直接以 Python 库方式使用
如果你把 LiteLLM 当作 Python 库而不是 proxy 使用，同样保持 TokenLab 的 base URL：
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)