Framework và nền tảng
CrewAI
Sử dụng các mô hình TokenLab trong các agent CrewAI thông qua cài đặt LLM tương thích với OpenAI
Tổng quan
CrewAI hỗ trợ các LLM tương thích với OpenAI bằng cách thiết lập model, API key và base URL trong các biến môi trường hoặc trên lớp LLM.
Biến môi trường
import os
os.environ["OPENAI_API_KEY"] = "sk-your-tokenlab-key"
os.environ["OPENAI_API_BASE"] = "https://api.tokenlab.sh/v1"
os.environ["OPENAI_MODEL_NAME"] = "openai/claude-sonnet-5"Lớp LLM
from crewai import Agent, LLM
llm = LLM(
model="claude-sonnet-5",
custom_openai=True,
base_url="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
)
agent = Agent(
role="Research analyst",
goal="Summarize technical tradeoffs clearly",
backstory="You produce concise implementation notes.",
llm=llm,
)ID của các model sẽ thay đổi theo thời gian. Hãy chọn một model hiện tại trên trang Models, sau đó so sánh chất lượng, tốc độ và chi phí trên các tác vụ CrewAI của riêng bạn.
Lưu ý về Endpoint
Thiết lập này sử dụng Chat Completions. Để sử dụng Responses, Anthropic Messages hoặc Gemini, hãy xác nhận rằng thành phần CrewAI của bạn hỗ trợ định dạng API đó.