AWS Machine Learning Blog· Sunita Nadampalli·· 3 小时前AI 评分55
AWS 为 vLLM 分离式推理推出 push 模式 KV 传输，TTFT 最高改善 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中贡献了 push 模式的 NIXL KV 连接器，把解码侧块注册与传输准备从首 token 关键路径移开。
来源：AWS Machine Learning Blog · aws.amazon.com