Framework & platform
AutoGen
Gunakan model TokenLab dengan Microsoft AutoGen melalui klien yang kompatibel dengan OpenAI
Gambaran Umum
AutoGen dapat memanggil TokenLab dengan OpenAIChatCompletionClient. Konfigurasikan Base URL, API key, dan ID model TokenLab di dalam klien tersebut.
Instalasi
pip install -U autogen-agentchat "autogen-ext[openai]" pyyamlLingkungan
export TOKENLAB_API_KEY="sk-your-tokenlab-key"Konfigurasi Model YAML
Gunakan endpoint /v1 milik TokenLab sebagai base_url:
Simpan konfigurasi ini sebagai tokenlab-model.yaml:
provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
model: claude-sonnet-5
base_url: https://api.tokenlab.sh/v1
model_info:
function_calling: true
json_output: true
structured_output: false
vision: false
family: claudeMuat YAML dan baca API key dari lingkungan. YAML tidak mengekspansi variabel lingkungan secara otomatis:
import os
import yaml
from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient
with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
config = yaml.safe_load(config_file)
config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)Klien Python
import os
from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient
model_client = OpenAIChatCompletionClient(
model="claude-sonnet-5",
base_url="https://api.tokenlab.sh/v1",
api_key=os.environ["TOKENLAB_API_KEY"],
model_info={
"function_calling": True,
"json_output": True,
"structured_output": False,
"vision": False,
"family": "claude",
},
)
agent = AssistantAgent("assistant", model_client=model_client)Jalankan permintaan pertama Anda
import asyncio
async def main():
try:
result = await agent.run(task="Reply with: Connected to TokenLab.")
print(result.messages[-1].content)
finally:
await model_client.close()
asyncio.run(main())Catatan Endpoint
Ekstensi OpenAI pada AutoGen mengharapkan bentuk permintaan yang kompatibel dengan OpenAI. Untuk fitur bawaan penyedia seperti Anthropic Messages atau generateContent milik Gemini, gunakan endpoint asli TokenLab dari klien yang mendukung protokol tersebut secara langsung.