Frameworks et plateformes
Promptfoo
Exécutez des évaluations Promptfoo sur les modèles TokenLab
Aperçu
Promptfoo peut évaluer TokenLab via ses fournisseurs de chat et de réponses compatibles avec OpenAI.
Environnement
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Exemple de configuration
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- qualityExécution
promptfoo evalUtilisez les fournisseurs de chat pour une compatibilité étendue. Utilisez les fournisseurs de réponses lorsque l'évaluation dépend spécifiquement du comportement des réponses.