TokenLab

Frameworks et plateformes

LiteLLM

Connecter LiteLLM à TokenLab

Vue d'ensemble

LiteLLM peut utiliser TokenLab de deux manières :

  • utiliser TokenLab comme un endpoint compatible OpenAI derrière LiteLLM
  • utiliser la passerelle de LiteLLM lorsque votre équipe a également besoin de ses clés virtuelles, alias ou logs

Pour les Chat Completions, configurez le client OpenAI personnalisé / compatible OpenAI de LiteLLM avec https://api.tokenlab.sh/v1.

Si votre application a besoin des champs Claude Messages ou Gemini, utilisez une intégration qui conserve ce format d'API.

Installation

pip install 'litellm[proxy]'

Configuration du proxy

Créez un fichier litellm-config.yaml comme suit :

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

  - model_name: tokenlab-claude-sonnet
    litellm_params:
      model: custom_openai/claude-sonnet-4-6
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Démarrez le proxy :

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Appeler LiteLLM via le SDK OpenAI

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://127.0.0.1:4000"
)

response = client.chat.completions.create(
    model="tokenlab-gpt-5.4",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

Utilisation directe en Python

Si vous utilisez LiteLLM en tant que bibliothèque Python au lieu du proxy, conservez la même URL de base TokenLab :

import litellm

response = litellm.completion(
    model="custom_openai/gpt-5.4",
    api_base="https://api.tokenlab.sh/v1",
    api_key="sk-your-tokenlab-key",
    messages=[{"role": "user", "content": "Summarize this repo."}]
)

Bonnes pratiques

Dépannage

Sur cette page