TokenLab

框架與平台

OpenLLMetry

使用 OpenLLMetry 追蹤 TokenLab 與 OpenAI 相容的請求

概覽

將 OpenAI SDK 設定為使用 TokenLab 的 /v1,然後使用 OpenLLMetry 來記錄這些 SDK 呼叫。

安裝

pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai

環境變數

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

範例

此獨立範例會將 span 寫入您的終端機。如果您的應用程式已經擁有 OpenTelemetry tracer provider,請重複使用該 provider 及其 exporter。

import os

from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)

OpenAIInstrumentor().instrument()

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Trace this request"}],
)

端點注意事項

請針對與 OpenAI SDK 相容的 TokenLab 呼叫使用此路徑。若為 TokenLab 原生端點,請對實際發送這些請求的 HTTP 或 SDK 客戶端進行檢測 (instrument)。

本頁內容