TokenLab

框架與平台

Ragas

使用 Ragas 和 TokenLab 評估 LLM 應用程式

概覽

Ragas 可以透過將與 OpenAI 相容的 AsyncOpenAI 客戶端傳遞給 llm_factory,來評估由 TokenLab 支援的應用程式。

安裝

pip install "ragas==0.4.3" "langchain-community<0.4" openai

環境設定

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

評估器範例

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

在 Ragas 指標 (metrics) 和測試集 (testsets) 中使用 llm 的方式,與使用 OpenAI SDK 支援的模型相同。

端點注意事項

此 Ragas 設定使用 OpenAI SDK。Responses、Anthropic Messages 和 Gemini 需要支援對應格式的評估客戶端。

本頁內容