Framework và nền tảng
Phoenix
Theo dõi các yêu cầu tương thích với OpenAI của TokenLab bằng Arize Phoenix
Tổng quan
Phoenix có thể ghi lại các cuộc gọi từ client Python của OpenAI có Base URL trỏ đến TokenLab.
Cài đặt
pip install arize-phoenix openinference-instrumentation-openai openaiMôi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Đăng ký Phoenix
Khởi động Phoenix cục bộ hoặc sử dụng một triển khai hiện có trước khi chạy ví dụ này. Theo mặc định, register() gửi các trace đến bộ thu OTLP/gRPC cục bộ tại http://localhost:4317. Đối với một triển khai khác, hãy cấu hình endpoint của bộ thu và xác thực bằng cách sử dụng hướng dẫn thiết lập Phoenix. Việc cài đặt SDK không tự động khởi động bộ thu.
from phoenix.otel import register
tracer_provider = register(
project_name="tokenlab-app",
auto_instrument=True,
)Gọi TokenLab
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
response = client.chat.completions.create(
model="claude-sonnet-5",
messages=[{"role": "user", "content": "Write a short haiku."}],
)
print(response.choices[0].message.content)Lưu ý về Endpoint
Phoenix theo dõi đường dẫn gọi của OpenAI SDK. Hãy sử dụng trang này cho các cuộc gọi TokenLab theo kiểu Chat Completions. Các endpoint gốc khác của TokenLab vẫn có thể được theo dõi nếu công cụ đo lường (instrumentation) trong ứng dụng của bạn nắm bắt được client mà bạn sử dụng cho các yêu cầu đó.