框架與平台
LiteLLM
將 TokenLab 與 LiteLLM 結合使用，可作為 OpenAI 相容端點或團隊 gateway 的一部分
概覽
LiteLLM 與 TokenLab 常見有兩種結合方式：
- 把 TokenLab 當作 LiteLLM 背後的 OpenAI 相容端點
- 在 TokenLab 前面再放一層 LiteLLM，統一做虛擬 key、模型選擇策略或額外觀測
對 TokenLab 而言，最乾淨的預設路徑是使用 LiteLLM 的 custom OpenAI / OpenAI 相容 設定，並把 api_base 指向 https://api.tokenlab.sh/v1。
如果你明確需要 Claude-native 或 Gemini-native 請求形狀，優先使用 TokenLab 自己的原生整合頁，而不是強行經由 LiteLLM 的 OpenAI 相容 抽象。
類型: 框架或平台
主要路徑: OpenAI 相容端點
支援級別: 支援路徑
安裝
pip install 'litellm[proxy]'Proxy 設定
建立一個 litellm-config.yaml：
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY啟動代理：
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000透過 OpenAI SDK 呼叫 LiteLLM
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)直接以 Python 函式庫方式使用
如果你把 LiteLLM 當作 Python 函式庫而不是 proxy 使用，同樣保持 TokenLab 的 base URL：
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)