الأطر والمنصات

Ragas

تقييم تطبيقات LLM باستخدام Ragas و TokenLab

نظرة عامة

يمكن لـ Ragas تقييم التطبيقات المدعومة من TokenLab عن طريق تمرير عميل AsyncOpenAI متوافق مع OpenAI إلى llm_factory.

التثبيت

pip install "ragas==0.4.3" "langchain-community<0.4" openai

البيئة

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

مثال على المُقيِّم (Evaluator)

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

استخدم llm في مقاييس Ragas ومجموعات الاختبار (testsets) بنفس الطريقة التي تستخدم بها نموذجاً مدعوماً بـ OpenAI SDK.

ملاحظات حول نقاط النهاية (Endpoint)

يستخدم إعداد Ragas هذا OpenAI SDK. تتطلب الاستجابات (Responses)، و Anthropic Messages، و Gemini عميل تقييم يدعم التنسيق المقابل.

في هذه الصفحة