Frameworks & Plattformen
Guardrails
Validieren Sie TokenLab-Modellausgaben mit Guardrails
Überblick
Konfigurieren Sie das OpenAI SDK mit der TokenLab Base URL, fordern Sie JSON an und validieren Sie anschließend den zurückgegebenen Text mit Guard.parse.
Installation
pip install guardrails-ai openaiUmgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Beispiel
import os
from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field
class Pet(BaseModel):
pet_type: str = Field(description="Species of pet")
name: str = Field(description="A unique pet name")
guard = Guard.for_pydantic(output_class=Pet)
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
response = client.chat.completions.create(
model="claude-sonnet-5",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
}],
)
outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)Hinweise zu Endpunkten
Guardrails konzentriert sich auf die Validierung rund um den LLM-Aufruf. Verwenden Sie den OpenAI-kompatiblen Pfad für Chat-Completions-Abläufe oder übergeben Sie ein benutzerdefiniertes Callable, falls Ihre Anwendung einen nativen TokenLab-Endpunkt benötigt.