Framework & platform

AutoGen

Gunakan model TokenLab dengan Microsoft AutoGen melalui klien yang kompatibel dengan OpenAI

Gambaran Umum

AutoGen dapat memanggil TokenLab dengan OpenAIChatCompletionClient. Konfigurasikan Base URL, API key, dan ID model TokenLab di dalam klien tersebut.

Instalasi

pip install -U autogen-agentchat "autogen-ext[openai]" pyyaml

Lingkungan

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Konfigurasi Model YAML

Gunakan endpoint /v1 milik TokenLab sebagai base_url:

Simpan konfigurasi ini sebagai tokenlab-model.yaml:

provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
  model: claude-sonnet-5
  base_url: https://api.tokenlab.sh/v1
  model_info:
    function_calling: true
    json_output: true
    structured_output: false
    vision: false
    family: claude

Muat YAML dan baca API key dari lingkungan. YAML tidak mengekspansi variabel lingkungan secara otomatis:

import os
import yaml

from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient

with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
    config = yaml.safe_load(config_file)

config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)

Klien Python

import os

from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient

model_client = OpenAIChatCompletionClient(
    model="claude-sonnet-5",
    base_url="https://api.tokenlab.sh/v1",
    api_key=os.environ["TOKENLAB_API_KEY"],
    model_info={
        "function_calling": True,
        "json_output": True,
        "structured_output": False,
        "vision": False,
        "family": "claude",
    },
)

agent = AssistantAgent("assistant", model_client=model_client)

Jalankan permintaan pertama Anda

import asyncio

async def main():
    try:
        result = await agent.run(task="Reply with: Connected to TokenLab.")
        print(result.messages[-1].content)
    finally:
        await model_client.close()

asyncio.run(main())

Catatan Endpoint

Ekstensi OpenAI pada AutoGen mengharapkan bentuk permintaan yang kompatibel dengan OpenAI. Untuk fitur bawaan penyedia seperti Anthropic Messages atau generateContent milik Gemini, gunakan endpoint asli TokenLab dari klien yang mendukung protokol tersebut secara langsung.

Di halaman ini