TokenLab

Framework và nền tảng

Ragas

Đánh giá các ứng dụng LLM với Ragas và TokenLab

Tổng quan

Ragas có thể đánh giá các ứng dụng được hỗ trợ bởi TokenLab bằng cách truyền một client AsyncOpenAI tương thích với OpenAI vào llm_factory.

Cài đặt

pip install "ragas==0.4.3" "langchain-community<0.4" openai

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Ví dụ về bộ đánh giá (Evaluator)

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Sử dụng llm trong các metric và testset của Ragas tương tự như cách bạn sử dụng mô hình được hỗ trợ bởi OpenAI SDK.

Lưu ý về Endpoint

Thiết lập Ragas này sử dụng OpenAI SDK. Các phản hồi (Responses), Anthropic Messages và Gemini yêu cầu một client đánh giá hỗ trợ định dạng tương ứng.

Trên trang này