Framework và nền tảng
DSPy
Cấu hình TokenLab như một mô hình ngôn ngữ tương thích với OpenAI trong DSPy
Tổng quan
DSPy có thể gọi TokenLab bằng cách sử dụng tiền tố nhà cung cấp openai/ với endpoint /v1 tương thích với OpenAI của TokenLab.
Môi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Cấu hình DSPy
import os
import dspy
lm = dspy.LM(
"openai/claude-sonnet-5",
api_key=os.environ["TOKENLAB_API_KEY"],
api_base="https://api.tokenlab.sh/v1",
)
dspy.configure(lm=lm)Sử dụng một Module
qa = dspy.ChainOfThought("question -> answer")
response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)ID của các mô hình sẽ thay đổi theo thời gian. Hãy chọn một mô hình chat hiện tại trên trang Models, sau đó so sánh nó trên chương trình DSPy của riêng bạn.