Frameworks & Plattformen
Promptfoo
Führen Sie Promptfoo-Evals für TokenLab-Modelle aus
Überblick
Promptfoo kann TokenLab über seine OpenAI-kompatiblen Chat- und Responses-Provider evaluieren.
Umgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Beispielkonfiguration
description: TokenLab provider example
prompts:
- 'Answer in one concise paragraph: {{question}}'
providers:
- id: openai:chat:gpt-5.4-mini
label: tokenlab-chat-gpt-5.4-mini
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
- id: openai:responses:gpt-5.5
label: tokenlab-responses-gpt-5.5
config:
apiBaseUrl: https://api.tokenlab.sh/v1
apiKey: '{{env.TOKENLAB_API_KEY}}'
tests:
- vars:
question: What are two practical ways to evaluate an LLM gateway?
assert:
- type: contains-any
value:
- latency
- reliability
- cost
- qualityAusführung
promptfoo evalVerwenden Sie Chat-Provider für eine breite Kompatibilität. Verwenden Sie Responses-Provider, wenn die Evaluation spezifisch vom Verhalten der Responses abhängt.