프레임워크 및 플랫폼
LiteLLM
LiteLLM을 TokenLab에 연결하기
개요
LiteLLM에서 TokenLab을 사용하는 방법은 두 가지가 있습니다:
- LiteLLM의 하단에서 TokenLab을 OpenAI 호환 엔드포인트로 사용
- 팀에서 가상 키, 별칭 또는 로그가 필요할 때 LiteLLM 게이트웨이 사용
Chat Completions의 경우, LiteLLM의 custom OpenAI / OpenAI-compatible 클라이언트를 https://api.tokenlab.sh/v1로 설정하십시오.
애플리케이션에서 Claude Messages 또는 Gemini 필드가 필요한 경우, 해당 API 형식을 유지하는 통합 방식을 사용하십시오.
설치
pip install 'litellm[proxy]'프록시 설정
다음과 같이 litellm-config.yaml을 생성합니다:
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY프록시를 시작합니다:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000OpenAI SDK를 통한 LiteLLM 호출
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Python 직접 사용
프록시 대신 LiteLLM을 Python 라이브러리로 사용하는 경우, 동일한 TokenLab 기본 URL을 유지하십시오:
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)