프레임워크 및 플랫폼
OpenLLMetry
OpenLLMetry를 사용하여 TokenLab의 OpenAI 호환 요청 추적하기
개요
OpenLLMetry의 OpenAI 계측(instrumentation)은 공식 OpenAI SDK를 통해 이루어지는 호출을 추적합니다. 해당 SDK를 TokenLab의 /v1 베이스 URL로 구성하십시오.
설치
pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai환경 설정
export TOKENLAB_API_KEY="sk-your-tokenlab-key"예시
이 독립 실행 예제는 span을 터미널에 출력합니다. 애플리케이션에 OpenTelemetry tracer provider가 이미 설정되어 있다면 기존 provider와 exporter를 재사용하세요.
import os
from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor
tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)
OpenAIInstrumentor().instrument()
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
client.chat.completions.create(
model="claude-sonnet-5",
messages=[{"role": "user", "content": "Trace this request"}],
)엔드포인트 참고 사항
OpenAI SDK 호환 TokenLab 호출에는 이 경로를 사용하십시오. TokenLab 네이티브 엔드포인트의 경우, 해당 요청을 실제로 전송하는 HTTP 또는 SDK 클라이언트를 계측하십시오.