Framework và nền tảng
Ragas
Đánh giá các ứng dụng LLM với Ragas và TokenLab
Tổng quan
Ragas có thể đánh giá các ứng dụng được hỗ trợ bởi TokenLab bằng cách truyền một client AsyncOpenAI tương thích với OpenAI vào llm_factory.
Cài đặt
pip install "ragas==0.4.3" "langchain-community<0.4" openaiMôi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Ví dụ về bộ đánh giá (Evaluator)
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Sử dụng llm trong các metric và testset của Ragas tương tự như cách bạn sử dụng mô hình được hỗ trợ bởi OpenAI SDK.
Lưu ý về Endpoint
Thiết lập Ragas này sử dụng OpenAI SDK. Các phản hồi (Responses), Anthropic Messages và Gemini yêu cầu một client đánh giá hỗ trợ định dạng tương ứng.