Frameworks e plataformas
Promptfoo
Execute avaliações do Promptfoo em modelos do TokenLab
Visão Geral
O Promptfoo pode avaliar o TokenLab através de seus provedores de chat e Responses compatíveis com a OpenAI.
Tipo: Framework de Avaliação
Caminhos Principais: Chat completions e Responses compatíveis com a OpenAI
Nível de Suporte: Caminho suportado
Ambiente
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Exemplo de Configuração
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- qualityExecução
promptfoo evalUtilize provedores de chat para uma ampla compatibilidade. Utilize provedores de Responses quando a avaliação depender especificamente do comportamento de Responses.