TokenLab

Framework và nền tảng

Phoenix

Theo dõi các yêu cầu tương thích với OpenAI của TokenLab bằng Arize Phoenix

Tổng quan

Phoenix có thể ghi lại các cuộc gọi từ client Python của OpenAI có Base URL trỏ đến TokenLab.

Cài đặt

pip install arize-phoenix openinference-instrumentation-openai openai

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Đăng ký Phoenix

Khởi động Phoenix cục bộ hoặc sử dụng một triển khai hiện có trước khi chạy ví dụ này. Theo mặc định, register() gửi các trace đến bộ thu OTLP/gRPC cục bộ tại http://localhost:4317. Đối với một triển khai khác, hãy cấu hình endpoint của bộ thu và xác thực bằng cách sử dụng hướng dẫn thiết lập Phoenix. Việc cài đặt SDK không tự động khởi động bộ thu.

from phoenix.otel import register

tracer_provider = register(
    project_name="tokenlab-app",
    auto_instrument=True,
)

Gọi TokenLab

import os

from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

response = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Write a short haiku."}],
)

print(response.choices[0].message.content)

Lưu ý về Endpoint

Phoenix theo dõi đường dẫn gọi của OpenAI SDK. Hãy sử dụng trang này cho các cuộc gọi TokenLab theo kiểu Chat Completions. Các endpoint gốc khác của TokenLab vẫn có thể được theo dõi nếu công cụ đo lường (instrumentation) trong ứng dụng của bạn nắm bắt được client mà bạn sử dụng cho các yêu cầu đó.

Trên trang này