Framework'ler ve platformlar

DSPy

TokenLab'i DSPy içinde OpenAI uyumlu bir dil modeli olarak yapılandırın

Genel Bakış

DSPy, TokenLab'in OpenAI uyumlu /v1 uç noktasını kullanarak openai/ sağlayıcı ön eki ile TokenLab'i çağırabilir.

Ortam

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

DSPy Yapılandırması

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

Bir Modül Kullanımı

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

Model kimlikleri zamanla değişebilir. Modeller sayfasından güncel bir sohbet modeli seçin ve ardından kendi DSPy programınızda karşılaştırın.

Bu sayfada