TokenLab

프레임워크 및 플랫폼

DSPy

DSPy에서 TokenLab을 OpenAI 호환 언어 모델로 구성하기

개요

DSPy는 TokenLab의 OpenAI 호환 /v1 엔드포인트와 함께 openai/ 제공자 접두사를 사용하여 TokenLab을 호출할 수 있습니다.

환경 설정

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

DSPy 구성

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

모듈 사용

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

모델 ID는 시간이 지남에 따라 변경됩니다. Models 페이지에서 현재 사용 가능한 채팅 모델을 선택한 후, 자신의 DSPy 프로그램에서 비교해 보십시오.

이 페이지의 내용