TokenLab

프레임워크 및 플랫폼

Phoenix

Arize Phoenix를 사용하여 TokenLab의 OpenAI 호환 요청 추적하기

개요

Phoenix는 TokenLab의 OpenAI 호환 base URL로 구성된 OpenAI Python 클라이언트를 자동 계측(auto-instrumenting)하여 TokenLab 요청을 추적할 수 있습니다.

설치

pip install arize-phoenix openinference-instrumentation-openai openai

환경 설정

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Phoenix 등록

예제를 실행하기 전에 Phoenix를 로컬에서 시작하거나 기존 배포를 사용하세요. register()는 기본적으로 로컬 http://localhost:4317의 OTLP/gRPC collector로 트레이스를 전송합니다. 다른 배포에서는 Phoenix 설정 가이드에 따라 collector 엔드포인트와 인증을 설정하세요. SDK 설치만으로 collector가 시작되지는 않습니다.

from phoenix.otel import register

tracer_provider = register(
    project_name="tokenlab-app",
    auto_instrument=True,
)

TokenLab 호출

import os

from openai import OpenAI

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

response = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Write a short haiku."}],
)

print(response.choices[0].message.content)

엔드포인트 참고 사항

Phoenix는 OpenAI SDK 호출 경로를 추적합니다. Chat Completions 스타일의 TokenLab 호출에는 이 페이지의 내용을 사용하십시오. 다른 TokenLab 네이티브 엔드포인트의 경우, 애플리케이션 계측이 해당 요청에 사용하는 클라이언트를 캡처한다면 여전히 추적이 가능합니다.

이 페이지의 내용