TokenLab

Framework và nền tảng

LiteLLM

Kết nối LiteLLM với TokenLab

Tổng quan

LiteLLM có thể sử dụng TokenLab theo hai cách:

  • sử dụng TokenLab làm một endpoint tương thích với OpenAI đằng sau LiteLLM
  • sử dụng gateway của LiteLLM khi nhóm của bạn cũng cần virtual key, alias hoặc log của nó

Đối với Chat Completions, hãy cấu hình client custom OpenAI / tương thích với OpenAI của LiteLLM với https://api.tokenlab.sh/v1.

Nếu ứng dụng của bạn cần Claude Messages hoặc các trường Gemini, hãy sử dụng một tích hợp duy trì định dạng API đó.

Cài đặt

pip install 'litellm[proxy]'

Cấu hình Proxy

Tạo một tệp litellm-config.yaml như sau:

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

  - model_name: tokenlab-claude-sonnet
    litellm_params:
      model: custom_openai/claude-sonnet-4-6
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Khởi chạy proxy:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Gọi LiteLLM thông qua OpenAI SDK

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://127.0.0.1:4000"
)

response = client.chat.completions.create(
    model="tokenlab-gpt-5.4",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

Sử dụng trực tiếp trong Python

Nếu bạn đang sử dụng LiteLLM dưới dạng thư viện Python thay vì proxy, hãy giữ nguyên base URL của TokenLab:

import litellm

response = litellm.completion(
    model="custom_openai/gpt-5.4",
    api_base="https://api.tokenlab.sh/v1",
    api_key="sk-your-tokenlab-key",
    messages=[{"role": "user", "content": "Summarize this repo."}]
)

Các phương pháp hay nhất

Khắc phục sự cố

Trên trang này