Frameworks y plataformas
LiteLLM
Usa LiteLLM con TokenLab como endpoint compatible con OpenAI o como parte de tu pasarela de equipo
Resumen general
LiteLLM y TokenLab suelen combinarse de dos maneras.
- usar TokenLab como endpoint compatible con OpenAI detrás de LiteLLM
- poner LiteLLM delante de TokenLab para manejar claves virtuales, política de selección de modelos u observabilidad centralizada
Para TokenLab, la ruta por defecto más limpia es usar el modo OpenAI personalizado / compatible con OpenAI de LiteLLM con api_base = https://api.tokenlab.sh/v1.
Si necesitas de forma explícita formatos de solicitud nativos de Claude o Gemini, prioriza las integraciones nativas de TokenLab en lugar de forzar esos flujos a través de la abstracción compatible con OpenAI de LiteLLM.
Instalación
pip install 'litellm[proxy]'Configuración del proxy
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEYInicio:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000Llamar con el SDK de OpenAI
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Llamar directamente desde Python
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)Buenas prácticas
- Trata TokenLab primero como ascendente
custom_openai - Coloca LiteLLM delante solo si realmente necesitas una capa adicional de pasarela
- No des por hecho todos los detalles nativos del proveedor en una ruta compatible con OpenAI