Framework & platform
LiteLLM
Gunakan LiteLLM dengan TokenLab sebagai endpoint kompatibel OpenAI atau bagian dari gateway tim Anda
Ikhtisar
LiteLLM dan TokenLab biasanya dipakai bersama dengan dua cara.
- memakai TokenLab sebagai endpoint kompatibel OpenAI di belakang LiteLLM
- menempatkan LiteLLM di depan TokenLab untuk menangani virtual key, kebijakan pemilihan model, atau observability terpusat
Untuk TokenLab, jalur default yang paling bersih adalah memakai mode custom OpenAI / kompatibel OpenAI milik LiteLLM dengan api_base = https://api.tokenlab.sh/v1.
Jika Anda benar-benar membutuhkan request shape Claude-native atau Gemini-native, lebih baik gunakan integrasi native TokenLab daripada memaksa alur tersebut melewati abstraksi kompatibel OpenAI milik LiteLLM.
Jenis: Framework atau platform
Jalur utama: endpoint kompatibel OpenAI
Tingkat dukungan: Jalur didukung
Instalasi
pip install 'litellm[proxy]'Konfigurasi proxy
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEYMenjalankan proxy:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000Memanggil melalui OpenAI SDK
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Memanggil langsung dari Python
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)Praktik terbaik
- Perlakukan TokenLab terlebih dahulu sebagai endpoint
custom_openai - Tempatkan LiteLLM di depan hanya jika Anda benar-benar membutuhkan lapisan gateway tambahan
- Jangan menganggap semua detail native milik penyedia otomatis tersedia di jalur kompatibel OpenAI