프레임워크 및 플랫폼
OpenLLMetry
OpenLLMetry를 사용하여 TokenLab OpenAI 호환 요청 추적하기
개요
OpenAI SDK를 TokenLab /v1으로 구성한 다음, OpenLLMetry를 사용하여 해당 SDK 호출을 기록합니다.
설치
pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai환경 설정
export TOKENLAB_API_KEY="sk-your-tokenlab-key"예제
이 독립형 예제는 스팬(span)을 터미널에 출력합니다. 애플리케이션에 이미 OpenTelemetry 트레이서 프로바이더(tracer provider)가 있는 경우, 해당 프로바이더와 익스포터(exporter)를 재사용하십시오.
import os
from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor
tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)
OpenAIInstrumentor().instrument()
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
client.chat.completions.create(
model="claude-sonnet-5",
messages=[{"role": "user", "content": "Trace this request"}],
)엔드포인트 참고 사항
OpenAI SDK 호환 TokenLab 호출에는 이 경로를 사용하십시오. TokenLab 네이티브 엔드포인트의 경우, 해당 요청을 실제로 전송하는 HTTP 또는 SDK 클라이언트를 계측(instrument)하십시오.