Framework'ler ve platformlar

LiteLLM

LiteLLM'i TokenLab'e bağlayın

Genel Bakış

LiteLLM, TokenLab'i iki şekilde kullanabilir:

  • TokenLab'i LiteLLM'in arkasında OpenAI uyumlu bir uç nokta olarak kullanmak
  • Ekibinizin sanal anahtarlara, takma adlara veya günlüklere (log) ihtiyaç duyduğu durumlarda LiteLLM'in ağ geçidini (gateway) kullanmak

Chat Completions için, LiteLLM'in özel OpenAI / OpenAI uyumlu istemcisini https://api.tokenlab.sh/v1 adresi ile yapılandırın.

Uygulamanız Claude Messages veya Gemini alanlarına ihtiyaç duyuyorsa, bu API formatını koruyan bir entegrasyon kullanın.

Kurulum

pip install 'litellm[proxy]'

Proxy Yapılandırması

Şunun gibi bir litellm-config.yaml oluşturun:

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

  - model_name: tokenlab-claude-sonnet
    litellm_params:
      model: custom_openai/claude-sonnet-4-6
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Proxy'yi başlatın:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

OpenAI SDK Üzerinden LiteLLM'i Çağırma

from openai import OpenAI

client = OpenAI(
    api_key="anything",
    base_url="http://127.0.0.1:4000"
)

response = client.chat.completions.create(
    model="tokenlab-gpt-5.4",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

Doğrudan Python Kullanımı

LiteLLM'i proxy yerine bir Python kütüphanesi olarak kullanıyorsanız, aynı TokenLab base URL adresini kullanmaya devam edin:

import litellm

response = litellm.completion(
    model="custom_openai/gpt-5.4",
    api_base="https://api.tokenlab.sh/v1",
    api_key="sk-your-tokenlab-key",
    messages=[{"role": "user", "content": "Summarize this repo."}]
)

En İyi Uygulamalar

Sorun Giderme

Bu sayfada