프레임워크 및 플랫폼
LiteLLM
LiteLLM를 TokenLab의 OpenAI 호환 엔드포인트 또는 팀 게이트웨이의 일부로 사용하기
개요
LiteLLM와 TokenLab를 함께 쓰는 대표적인 방식은 두 가지입니다.
- TokenLab를 LiteLLM 뒤의 OpenAI 호환 엔드포인트 로 사용
- LiteLLM를 TokenLab 앞단에 두고 가상 키, 모델 선택 정책, 중앙 관측 기능을 담당하게 함
TokenLab에서는 LiteLLM의 custom OpenAI / OpenAI 호환 경로를 사용하고 api_base 를 https://api.tokenlab.sh/v1 로 지정하는 구성이 가장 무난한 기본값입니다.
Claude-native 또는 Gemini-native 요청 형태가 꼭 필요하다면, LiteLLM의 OpenAI 호환 추상화에 억지로 맞추기보다 TokenLab의 native 통합 경로를 우선하세요.
설치
pip install 'litellm[proxy]'Proxy 설정
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY실행:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000OpenAI SDK로 호출
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Python 라이브러리로 직접 호출
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)모범 사례
- TokenLab는 우선
custom_openai상류로 취급하세요 - 추가 게이트웨이 계층이 정말 필요할 때만 LiteLLM를 앞단에 두세요
- OpenAI 호환 경로에서 제공자 고유의 세부 동작까지 과도하게 기대하지 마세요