每次请求可选择 Auto、TokenLab Verified 或 Official,并查看对应价格。查看更新

TokenLab 博客

实用教程、模型观察与产品更新

LLM 延迟与吞吐量:API 买家应如何衡量速度
洞察

LLM 延迟与吞吐量:API 买家应如何衡量速度

一份来自 TokenLab 的过时四模型流式传输示例展示了为什么必须使用测试工具、日志记录头文件以及速率限制算法,分别对首个可见 token、总耗时和每秒 token 数进行测量。

9月19日