TokenLab

프레임워크 및 플랫폼

LiteLLM

LiteLLM을 TokenLab에 연결하기

개요

LiteLLM에서 TokenLab을 사용하는 방법은 두 가지가 있습니다:

  • LiteLLM의 하단에서 TokenLab을 OpenAI 호환 엔드포인트로 사용
  • 팀에서 가상 키, 별칭 또는 로그가 필요할 때 LiteLLM 게이트웨이 사용

Chat Completions의 경우, LiteLLM의 custom OpenAI / OpenAI-compatible 클라이언트를 https://api.tokenlab.sh/v1로 설정하십시오.

애플리케이션에서 Claude Messages 또는 Gemini 필드가 필요한 경우, 해당 API 형식을 유지하는 통합 방식을 사용하십시오.

설치

pip install 'litellm[proxy]'

프록시 설정

다음과 같이 litellm-config.yaml을 생성합니다:

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

  - model_name: tokenlab-claude-sonnet
    litellm_params:
      model: custom_openai/claude-sonnet-4-6
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

프록시를 시작합니다:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

OpenAI SDK를 통한 LiteLLM 호출

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://127.0.0.1:4000"
)

response = client.chat.completions.create(
    model="tokenlab-gpt-5.4",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

Python 직접 사용

프록시 대신 LiteLLM을 Python 라이브러리로 사용하는 경우, 동일한 TokenLab 기본 URL을 유지하십시오:

import litellm

response = litellm.completion(
    model="custom_openai/gpt-5.4",
    api_base="https://api.tokenlab.sh/v1",
    api_key="sk-your-tokenlab-key",
    messages=[{"role": "user", "content": "Summarize this repo."}]
)

모범 사례

문제 해결

이 페이지의 내용