MI308X 长上下文冷恢复相对本地 NVMe 的实测秒数是多少?
负载是 Qwen3-Coder-480B-FP8、TP=8、长上下文冷恢复,对照本地 NVMe 单盘。同前缀二次请求的首字延迟从 29.15 秒到 0.37 秒。出处是 R2/R3。
- 对外讲存储加速用这对绝对秒数。不要把这对秒数改写成相对另一家加速卡的倍数。
负载是 Qwen3-Coder-480B-FP8、TP=8、长上下文冷恢复,对照本地 NVMe 单盘。同前缀二次请求的首字延迟从 29.15 秒到 0.37 秒。出处是 R2/R3。