Framework & platform

OpenLLMetry

Lacak permintaan yang kompatibel dengan OpenAI di TokenLab menggunakan OpenLLMetry

Gambaran Umum

Konfigurasikan OpenAI SDK dengan /v1 TokenLab, lalu gunakan OpenLLMetry untuk merekam panggilan SDK tersebut.

Instalasi

pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai

Lingkungan

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Contoh

Contoh mandiri ini menulis span ke terminal Anda. Jika aplikasi Anda sudah memiliki penyedia tracer OpenTelemetry, gunakan kembali penyedia tersebut beserta eksportirnya.

import os

from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)

OpenAIInstrumentor().instrument()

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Trace this request"}],
)

Catatan Endpoint

Gunakan path ini untuk panggilan TokenLab yang kompatibel dengan OpenAI SDK. Untuk endpoint native TokenLab, lakukan instrumentasi pada klien HTTP atau SDK yang benar-benar mengirimkan permintaan tersebut.

Di halaman ini