TokenLab

프레임워크 및 플랫폼

OpenLLMetry

OpenLLMetry를 사용하여 TokenLab OpenAI 호환 요청 추적하기

개요

OpenAI SDK를 TokenLab /v1으로 구성한 다음, OpenLLMetry를 사용하여 해당 SDK 호출을 기록합니다.

설치

pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai

환경 설정

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

예제

이 독립형 예제는 스팬(span)을 터미널에 출력합니다. 애플리케이션에 이미 OpenTelemetry 트레이서 프로바이더(tracer provider)가 있는 경우, 해당 프로바이더와 익스포터(exporter)를 재사용하십시오.

import os

from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)

OpenAIInstrumentor().instrument()

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Trace this request"}],
)

엔드포인트 참고 사항

OpenAI SDK 호환 TokenLab 호출에는 이 경로를 사용하십시오. TokenLab 네이티브 엔드포인트의 경우, 해당 요청을 실제로 전송하는 HTTP 또는 SDK 클라이언트를 계측(instrument)하십시오.

이 페이지의 내용