Framework và nền tảng
Guardrails
Xác thực đầu ra của mô hình TokenLab với Guardrails
Tổng quan
Cấu hình OpenAI SDK với Base URL của TokenLab, yêu cầu JSON rồi xác thực văn bản trả về bằng Guard.parse.
Loại: Khung xác thực và đầu ra có cấu trúc
Đường dẫn chính: OpenAI-compatible Chat Completions
Độ tin cậy hỗ trợ: Hỗ trợ đường dẫn tương thích với OpenAI
Cài đặt
pip install guardrails-ai openaiMôi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Ví dụ
import os
from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field
class Pet(BaseModel):
pet_type: str = Field(description="Species of pet")
name: str = Field(description="A unique pet name")
guard = Guard.for_pydantic(output_class=Pet)
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
response = client.chat.completions.create(
model="claude-sonnet-5",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
}],
)
outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)Ghi chú về Endpoint
Guardrails tập trung vào việc xác thực xung quanh lệnh gọi LLM. Hãy sử dụng đường dẫn tương thích với OpenAI cho các luồng chat-completions, hoặc truyền một callable tùy chỉnh nếu ứng dụng của bạn cần một endpoint TokenLab gốc.