Framework'ler ve platformlar

Guardrails

TokenLab model çıktılarını Guardrails ile doğrulayın

Genel Bakış

OpenAI SDK'yı TokenLab Base URL'si ve JSON isteği ile yapılandırın, ardından dönen metni Guard.parse ile doğrulayın.

Kurulum

pip install guardrails-ai openai

Ortam

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Örnek

import os

from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field


class Pet(BaseModel):
    pet_type: str = Field(description="Species of pet")
    name: str = Field(description="A unique pet name")


guard = Guard.for_pydantic(output_class=Pet)

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

response = client.chat.completions.create(
    model="claude-sonnet-5",
    response_format={"type": "json_object"},
    messages=[{
        "role": "user",
        "content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
    }],
)

outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)

Uç Nokta Notları

Guardrails, LLM çağrısı etrafındaki doğrulamaya odaklanır. Chat-completions akışları için OpenAI uyumlu yolu kullanın veya uygulamanızın yerel bir TokenLab uç noktasına ihtiyacı varsa özel bir çağrılabilir (callable) nesne iletin.

Bu sayfada