Framework'ler ve platformlar
AutoGen
TokenLab modellerini OpenAI uyumlu istemciler aracılığıyla Microsoft AutoGen ile kullanın
Genel Bakış
AutoGen, diğer özel Chat Completions uç noktaları için kullandığı OpenAI uyumlu istemci yolu olan OpenAIChatCompletionClient aracılığıyla TokenLab'i kullanabilir.
Tür: Ajan Çerçevesi (Agent Framework)
Birincil Yol: OpenAI uyumlu sohbet tamamlama (chat completions)
Destek Güveni: Desteklenen özel uç nokta yolu
Kurulum
pip install -U autogen-agentchat "autogen-ext[openai]" pyyamlOrtam
export TOKENLAB_API_KEY="sk-your-tokenlab-key"YAML Model Yapılandırması
TokenLab'in /v1 uç noktasını base_url olarak kullanın:
Bu yapılandırmayı tokenlab-model.yaml olarak kaydedin:
provider: autogen_ext.models.openai.OpenAIChatCompletionClient
config:
model: claude-sonnet-5
base_url: https://api.tokenlab.sh/v1
model_info:
function_calling: true
json_output: true
structured_output: false
vision: false
family: claudeYAML dosyasını yükleyin ve API anahtarını ortam değişkeninden okuyun. YAML, ortam değişkenlerini otomatik olarak genişletmez:
import os
import yaml
from autogen_agentchat.agents import AssistantAgent
from autogen_core.models import ChatCompletionClient
with open("tokenlab-model.yaml", encoding="utf-8") as config_file:
config = yaml.safe_load(config_file)
config["config"]["api_key"] = os.environ["TOKENLAB_API_KEY"]
model_client = ChatCompletionClient.load_component(config)
agent = AssistantAgent("assistant", model_client=model_client)Python İstemcisi
import os
from autogen_agentchat.agents import AssistantAgent
from autogen_ext.models.openai import OpenAIChatCompletionClient
model_client = OpenAIChatCompletionClient(
model="claude-sonnet-5",
base_url="https://api.tokenlab.sh/v1",
api_key=os.environ["TOKENLAB_API_KEY"],
model_info={
"function_calling": True,
"json_output": True,
"structured_output": False,
"vision": False,
"family": "claude",
},
)
agent = AssistantAgent("assistant", model_client=model_client)İlk isteği gönderin
import asyncio
async def main():
try:
result = await agent.run(task="Reply with: Connected to TokenLab.")
print(result.messages[-1].content)
finally:
await model_client.close()
asyncio.run(main())Uç Nokta Notları
AutoGen'in OpenAI uzantısı, OpenAI uyumlu istek biçimini bekler. Anthropic Messages veya Gemini generateContent gibi sağlayıcıya özgü özellikler için, bu protokolleri doğrudan destekleyen bir istemciden TokenLab'in yerel uç noktalarını kullanın.