TokenLab

Framework và nền tảng

DSPy

Cấu hình TokenLab như một mô hình ngôn ngữ tương thích với OpenAI trong DSPy

Tổng quan

DSPy có thể gọi TokenLab bằng cách sử dụng tiền tố nhà cung cấp openai/ với endpoint /v1 tương thích với OpenAI của TokenLab.

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Cấu hình DSPy

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

Sử dụng một Module

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

ID của các mô hình sẽ thay đổi theo thời gian. Hãy chọn một mô hình chat hiện tại trên trang Models, sau đó so sánh nó trên chương trình DSPy của riêng bạn.

Trên trang này