Frameworks e plataformas
Ragas
Avalie aplicações de LLM com Ragas e TokenLab
Visão Geral
O Ragas pode avaliar aplicações baseadas em TokenLab passando um cliente AsyncOpenAI compatível com OpenAI para o llm_factory.
Tipo: Framework de avaliação
Caminho Principal: Chat Completions compatíveis com OpenAI
Nível de Suporte: Caminho compatível com OpenAI suportado
Instalação
pip install "ragas==0.4.3" "langchain-community<0.4" openaiAmbiente
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Exemplo de Avaliador
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)Use o llm nas métricas e conjuntos de teste do Ragas da mesma forma que você usaria um modelo baseado no SDK da OpenAI.
Notas sobre o Endpoint
O Ragas utiliza o caminho do cliente SDK da OpenAI aqui. Respostas nativas do TokenLab, Anthropic Messages e rotas do Gemini são melhor utilizadas através de executores de avaliação que suportam esses formatos de requisição diretamente.