Framework và nền tảng
LiteLLM
Dùng LiteLLM với TokenLab như endpoint tương thích OpenAI hoặc một phần gateway của đội bạn
Tổng quan
LiteLLM và TokenLab thường kết hợp theo hai cách.
- dùng TokenLab làm endpoint tương thích OpenAI phía sau LiteLLM
- đặt LiteLLM phía trước TokenLab để xử lý virtual key, chính sách chọn model hoặc observability tập trung
Với TokenLab, đường mặc định gọn nhất là dùng chế độ custom OpenAI / tương thích OpenAI của LiteLLM với api_base = https://api.tokenlab.sh/v1.
Nếu bạn thực sự cần request shape Claude-native hoặc Gemini-native, hãy ưu tiên các tích hợp native của TokenLab thay vì ép các luồng đó đi qua lớp trừu tượng tương thích OpenAI của LiteLLM.
Loại: Framework hoặc nền tảng
Đường chính: endpoint tương thích OpenAI
Mức hỗ trợ: Đường được hỗ trợ
Cài đặt
pip install 'litellm[proxy]'Cấu hình proxy
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEYKhởi động:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000Gọi qua OpenAI SDK
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Gọi trực tiếp bằng Python
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)Thực tiễn tốt nhất
- Hãy coi TokenLab trước hết là endpoint
custom_openai - Chỉ đặt LiteLLM phía trước khi bạn thực sự cần thêm một lớp gateway
- Đừng mặc định kỳ vọng mọi chi tiết provider-native đều có trên đường tương thích OpenAI