Framework'ler ve platformlar
LiteLLM
LiteLLM'yi TokenLab ile OpenAI uyumlu endpoint veya ekip ağ geçidinizin bir parçası olarak kullanın
Genel Bakış
LiteLLM ve TokenLab genelde iki şekilde birlikte kullanılır.
- TokenLab'yı LiteLLM arkasında OpenAI uyumlu endpoint olarak kullanmak
- sanal anahtarlar, model seçim politikası veya merkezi gözlemlenebilirlik için LiteLLM'yi TokenLab'nın önüne koymak
TokenLab için en temiz varsayılan yol, LiteLLM'nin custom OpenAI / OpenAI uyumlu modunu kullanıp api_base = https://api.tokenlab.sh/v1 ayarlamaktır.
Açıkça Claude-native veya Gemini-native request shape ihtiyacınız varsa, bu akışları LiteLLM'nin OpenAI uyumlu soyutlamasına zorlamak yerine TokenLab'nın native entegrasyonlarını tercih edin.
Tür: Framework veya platform
Birincil yol: OpenAI uyumlu endpoint
Destek seviyesi: Desteklenen yol
Kurulum
pip install 'litellm[proxy]'Proxy yapılandırması
model_list:
- model_name: tokenlab-gpt-5.4
litellm_params:
model: custom_openai/gpt-5.4
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEY
- model_name: tokenlab-claude-sonnet
litellm_params:
model: custom_openai/claude-sonnet-4-6
api_base: https://api.tokenlab.sh/v1
api_key: os.environ/OPENAI_API_KEYBaşlatma:
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000OpenAI SDK ile çağırma
from openai import OpenAI
client = OpenAI(
api_key="anything",
base_url="http://127.0.0.1:4000"
)
response = client.chat.completions.create(
model="tokenlab-gpt-5.4",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Python kitaplığından doğrudan çağırma
import litellm
response = litellm.completion(
model="custom_openai/gpt-5.4",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
messages=[{"role": "user", "content": "Summarize this repo."}]
)En iyi uygulamalar
- TokenLab'yı önce
custom_openaiendpoint olarak ele alın - LiteLLM'yi yalnızca gerçekten ek bir gateway katmanına ihtiyaç duyuyorsanız öne koyun
- OpenAI uyumlu yol üzerinde her sağlayıcıya özgü ayrıntının otomatik olarak çalışacağını varsaymayın