Framework'ler ve platformlar

Ragas

Ragas ve TokenLab ile LLM uygulamalarını değerlendirin

Genel Bakış

Ragas, OpenAI uyumlu bir AsyncOpenAI istemcisini llm_factory içine geçirerek TokenLab destekli uygulamaları değerlendirebilir.

Kurulum

pip install "ragas==0.4.3" "langchain-community<0.4" openai

Ortam

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Örnek Değerlendirici

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Ragas metriklerinde ve test kümelerinde llm nesnesini, OpenAI SDK destekli bir modeli kullanacağınız şekilde kullanın.

Uç Nokta Notları

Bu Ragas kurulumu OpenAI SDK'sını kullanır. Responses, Anthropic Messages ve Gemini, ilgili formatı destekleyen bir değerlendirme istemcisi gerektirir.

Bu sayfada