الأطر والمنصات
LlamaIndex
دمج TokenLab مع LlamaIndex باستخدام عمليات تكامل متوافقة مع OpenAI
نظرة عامة
استخدم OpenAILike في LlamaIndex مع TokenLab. فهو يقبل Base URL مخصصاً ولا يستنتج البيانات الوصفية للنموذج من أسماء نماذج OpenAI.
التثبيت
pip install llama-index-core \
llama-index-readers-file \
llama-index-llms-openai-like \
llama-index-embeddings-openai-likeالتكوين الأساسي
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai_like import OpenAILikeEmbedding
llm = OpenAILike(
model="gpt-5.6-terra",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
is_chat_model=True,
)
embed_model = OpenAILikeEmbedding(
model_name="text-embedding-3-small",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
)
Settings.llm = llm
Settings.embed_model = embed_modelالاستخدام الأساسي
response = llm.complete("Explain TokenLab in one sentence.")
print(response.text)نموذج OpenAILike LLM بالحد الأدنى
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="claude-sonnet-5",
api_base="https://api.tokenlab.sh/v1",
api_key="sk-your-tokenlab-key",
context_window=200000,
is_chat_model=True,
is_function_calling_model=True,
)المحادثة
from llama_index.core.llms import ChatMessage
messages = [
ChatMessage(role="system", content="You are a helpful assistant."),
ChatMessage(role="user", content="What is the capital of France?")
]
response = llm.chat(messages)
print(response.message.content)البث التدفقي
for chunk in llm.stream_complete("Write a short poem about AI."):
print(chunk.delta, end="", flush=True)التضمينات
vector = embed_model.get_text_embedding("Hello, world!")
print(vector[:5])RAG مع المستندات
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
documents = SimpleDirectoryReader("./data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("What is in my documents?")
print(response)محرك المحادثة
chat_engine = index.as_chat_engine(chat_mode="condense_question")
response = chat_engine.chat("What is TokenLab?")
print(response)
response = chat_engine.chat("How many models does it support?")
print(response)الاستخدام غير المتزامن
import asyncio
async def main():
response = await llm.acomplete("Hello!")
print(response.text)
asyncio.run(main())