Frameworks et plateformes
LiteLLM
Utiliser LiteLLM avec TokenLab comme endpoint compatible OpenAI ou comme partie de votre passerelle d’équipe
Vue d'ensemble
LiteLLM et TokenLab se combinent généralement de deux façons.
- utiliser TokenLab comme endpoint compatible OpenAI derrière LiteLLM
- placer LiteLLM devant TokenLab pour gérer des clés virtuelles, une politique de sélection de modèle ou une observabilité centralisée
Pour TokenLab, le chemin par défaut le plus propre consiste à utiliser le mode OpenAI personnalisé / compatible OpenAI de LiteLLM avec api_base = https://api.tokenlab.sh/v1.
Si vous avez explicitement besoin de formes de requête natives Claude ou Gemini, privilégiez les intégrations natives de TokenLab au lieu de forcer ces flux à passer par l'abstraction compatible OpenAI de LiteLLM.
Installation
pip install 'litellm[proxy]'Configuration du proxy
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEYDémarrage :
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000Appeler avec le SDK OpenAI
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Appeler directement avec Python
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)Bonnes pratiques
- Traitez d'abord TokenLab comme un amont
custom_openai - Placez LiteLLM devant uniquement si vous avez réellement besoin d'une couche de passerelle supplémentaire
- N'attendez pas automatiquement tous les détails propres au fournisseur sur un chemin compatible OpenAI