Framework & platform
AutoGen
Gunakan model TokenLab dengan Microsoft AutoGen melalui klien yang kompatibel dengan OpenAI
Gambaran Umum
AutoGen dapat menggunakan TokenLab melalui OpenAIChatCompletionClient, jalur klien yang kompatibel dengan OpenAI yang sama seperti yang digunakannya untuk endpoint Chat Completions kustom lainnya.
Tipe: Kerangka Kerja Agen (Agent Framework)
Jalur Utama: Chat completions yang kompatibel dengan OpenAI
Tingkat Dukungan: Jalur endpoint kustom yang didukung
Instalasi
pip install -U autogen-agentchat "autogen-ext[openai]" pyyamlLingkungan
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Konfigurasi Model YAML
Gunakan endpoint /v1 milik TokenLab sebagai base_url:
Simpan konfigurasi ini sebagai tokenlab-model.yaml:
provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
model: claude-sonnet-5
base_url: https://api.tokenlab.sh/v1
model_info:
function_calling: true
json_output: true
structured_output: false
vision: false
family: claudeMuat YAML lalu baca kunci API dari variabel lingkungan. YAML tidak mengganti variabel lingkungan secara otomatis:
import os
import yaml
from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient
with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
config = yaml.safe_load(config_file)
config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)Klien Python
import os
from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient
model_client = OpenAIChatCompletionClient(
model="claude-sonnet-5",
base_url="https://api.tokenlab.sh/v1",
api_key=os.environ["TOKENLAB_API_KEY"],
model_info={
"function_calling": True,
"json_output": True,
"structured_output": False,
"vision": False,
"family": "claude",
},
)
agent = AssistantAgent("assistant", model_client=model_client)Kirim permintaan pertama
import asyncio
async def main():
try:
result = await agent.run(task="Reply with: Connected to TokenLab.")
print(result.messages[-1].content)
finally:
await model_client.close()
asyncio.run(main())Catatan Endpoint
Ekstensi OpenAI AutoGen mengharapkan bentuk permintaan yang kompatibel dengan OpenAI. Untuk fitur bawaan penyedia seperti Anthropic Messages atau Gemini generateContent, gunakan endpoint asli TokenLab dari klien yang mendukung protokol tersebut secara langsung.