TokenLab

Framework và nền tảng

OpenLLMetry

Theo dõi các yêu cầu tương thích với OpenAI của TokenLab bằng OpenLLMetry

Tổng quan

Cấu hình OpenAI SDK với /v1 của TokenLab, sau đó sử dụng OpenLLMetry để ghi lại các lệnh gọi SDK đó.

Cài đặt

pip install opentelemetry-instrumentation-openai opentelemetry-sdk openai

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Ví dụ

Ví dụ độc lập này ghi các span vào terminal của bạn. Nếu ứng dụng của bạn đã có sẵn một OpenTelemetry tracer provider, hãy sử dụng lại provider đó cùng với exporter của nó.

import os

from openai import OpenAI
from opentelemetry import trace
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

tracer_provider = TracerProvider()
tracer_provider.add_span_processor(SimpleSpanProcessor(ConsoleSpanExporter()))
trace.set_tracer_provider(tracer_provider)

OpenAIInstrumentor().instrument()

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "Trace this request"}],
)

Lưu ý về Endpoint

Sử dụng đường dẫn này cho các lệnh gọi TokenLab tương thích với OpenAI SDK. Đối với các endpoint gốc của TokenLab, hãy thực hiện instrument cho HTTP hoặc SDK client thực sự gửi các yêu cầu đó.

Trên trang này