Frameworks & Plattformen

Guardrails

Validieren Sie TokenLab-Modellausgaben mit Guardrails

Überblick

Konfigurieren Sie das OpenAI SDK mit der TokenLab Base URL, fordern Sie JSON an und validieren Sie anschließend den zurückgegebenen Text mit Guard.parse.

Installation

pip install guardrails-ai openai

Umgebung

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Beispiel

import os

from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field


class Pet(BaseModel):
    pet_type: str = Field(description="Species of pet")
    name: str = Field(description="A unique pet name")


guard = Guard.for_pydantic(output_class=Pet)

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

response = client.chat.completions.create(
    model="claude-sonnet-5",
    response_format={"type": "json_object"},
    messages=[{
        "role": "user",
        "content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
    }],
)

outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)

Hinweise zu Endpunkten

Guardrails konzentriert sich auf die Validierung rund um den LLM-Aufruf. Verwenden Sie den OpenAI-kompatiblen Pfad für Chat-Completions-Abläufe oder übergeben Sie ein benutzerdefiniertes Callable, falls Ihre Anwendung einen nativen TokenLab-Endpunkt benötigt.

Auf dieser Seite