Frameworks et plateformes
Guardrails
Validez les sorties des modèles TokenLab avec Guardrails
Aperçu
Configurez le SDK OpenAI avec l'URL de base de TokenLab, demandez du JSON, puis validez le texte renvoyé avec Guard.parse.
Installation
pip install guardrails-ai openaiEnvironnement
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Exemple
import os
from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field
class Pet(BaseModel):
pet_type: str = Field(description="Species of pet")
name: str = Field(description="A unique pet name")
guard = Guard.for_pydantic(output_class=Pet)
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
response = client.chat.completions.create(
model="claude-sonnet-5",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
}],
)
outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)Remarques sur les endpoints
Guardrails se concentre sur la validation autour de l'appel LLM. Utilisez le chemin compatible OpenAI pour les flux de chat-completions, ou transmettez un callable personnalisé si votre application nécessite un endpoint TokenLab natif.