Framework và nền tảng
OpenLLMetry
Theo dõi các yêu cầu tương thích với OpenAI của TokenLab bằng OpenLLMetry
Tổng quan
Cấu hình OpenAI SDK với /v1 của TokenLab, sau đó sử dụng OpenLLMetry để ghi lại các lệnh gọi SDK đó.
Cài đặt
pip install opentelemetry-instrumentation-openai opentelemetry-sdk openaiMôi trường
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Ví dụ
Ví dụ độc lập này ghi các span vào terminal của bạn. Nếu ứng dụng của bạn đã có sẵn một OpenTelemetry tracer provider, hãy sử dụng lại provider đó cùng với exporter của nó.
import os
from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor
tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)
OpenAIInstrumentor().instrument()
client = OpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
client.chat.completions.create(
model="claude-sonnet-5",
messages=[{"role": "user", "content": "Trace this request"}],
)Lưu ý về Endpoint
Sử dụng đường dẫn này cho các lệnh gọi TokenLab tương thích với OpenAI SDK. Đối với các endpoint gốc của TokenLab, hãy thực hiện instrument cho HTTP hoặc SDK client thực sự gửi các yêu cầu đó.