框架与平台
Ragas
使用 Ragas 和 TokenLab 评估 LLM 应用
概述
把指向 TokenLab 的 AsyncOpenAI 客户端传给 llm_factory，Ragas 就能用它进行评测。
安装
pip install "ragas==0.4.3" "langchain-community<0.4" openai环境
export TOKENLAB_API_KEY="sk-your-tokenlab-key"评估器示例
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)在 Ragas 指标和测试集（testsets）中使用 llm 的方式与使用 OpenAI SDK 支持的模型相同。
端点说明
这里的 Ragas 配置使用 OpenAI SDK。Responses、Anthropic Messages 和 Gemini 格式需要使用支持对应格式的评测工具。