프레임워크 및 플랫폼
Guardrails
Guardrails를 사용하여 TokenLab 모델 출력 검증하기
개요
TokenLab Base URL로 OpenAI SDK를 설정하고 JSON을 요청한 다음, 반환된 텍스트를 Guard.parse로 검증합니다.
설치
pip install guardrails-ai openai환경 설정
export TOKENLAB_API_KEY="sk-your-tokenlab-key"예제
import os
from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field
class Pet(BaseModel):
pet_type: str = Field(description="Species of pet")
name: str = Field(description="A unique pet name")
guard = Guard.for_pydantic(output_class=Pet)
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
response = client.chat.completions.create(
model="claude-sonnet-5",
response_format={"type": "json_object"},
messages=[{
"role": "user",
"content": "Suggest a pet. Return only JSON with string fields pet_type and name.",
}],
)
outcome = guard.parse(response.choices[0].message.content)
print(outcome.validated_output)엔드포인트 참고 사항
Guardrails는 LLM 호출 전후의 검증에 중점을 둡니다. 채팅 완성 흐름에는 OpenAI 호환 경로를 사용하거나, 애플리케이션에서 네이티브 TokenLab 엔드포인트가 필요한 경우 사용자 지정 호출 가능 객체를 전달하십시오.