Token 吞吐趋势
服务器全部请求 · tokens / s
输出 —
INFERENCE OPERATIONS
服务总览
从请求到计算资源，实时掌握推理服务的每一刻。
等待指标
实时连接已断开，正在重新连接。下方保留最后一次采样数据。
计算负载
GPU 平均与 CPU 总体利用率
GPU —CPU —
GPU 资源
计算利用率与显存分开统计主机资源
最近请求
经过监控入口的请求记录
这里展示经过监控入口的请求内容。直连模型端口的请求仍计入服务器整体指标，但无法回溯其输入与回答。
| 请求 / 内容 | 状态 | 上下文 | 输出 | 首 token | 总耗时 | 生成速度 | 时间 |
|---|
发送测试请求
实时观察请求与服务器负载的变化
实时回答
回答内容会在这里流式显示
准备好开始一次推理
发送请求后，可切换到总览查看负载变化。
已保存的合成负载基线：每个请求输出 512 tokens，各点测量一批。这里是历史结果，不会自动发起压测。FTS 表示首 token 延迟，单位为秒。补测显示，零上下文与 1,000 tokens 的推测接受率分别约为 46.9% 和 65.9%–70.1%；生成内容不同，不能将速度差异单独归因于上下文长度。
服务配置
主机状态
CPU 核心利用率
读取中
0% 100%