각 요청에 대해 Auto, TokenLab Verified 또는 Official를 선택할 수 있으며, 가격은 사전에 표시됩니다.새로운 기능 확인하기

TokenLab 블로그

사용 가이드 · 모델 소식 · 제품 업데이트

LLM Latency vs Throughput: API 구매자가 속도를 측정하는 방법
인사이트

LLM Latency vs Throughput: API 구매자가 속도를 측정하는 방법

TokenLab의 날짜가 지난 4개 모델 스트리밍 샘플은 왜 첫 번째 가시 토큰(first visible token), 총 시간(total time), 초당 토큰 수(tokens per second)를 하니스(harness), 로그 기록용 헤더, 그리고 속도 제한(rate-limit) 계산과 함께 각각 별도로 측정해야 하는지를 보여줍니다.

9월 19일