英伟达称全栈协同设计缓解AI内存压力

英伟达发布技术文章称，其全栈协同设计可缓解AI推理中的内存压力，让每字节HBM发挥更大价值，途径是减轻模型权重、KV缓存和RAG数据对内存的占用。 英伟达称，从Blackwell Ultra到Vera Rubin平台，单GPU的HBM容量仅增约3%，而SemiAnalysis AgentX上的智能体吞吐每美元最高提升30倍。该提升幅度为英伟达方面的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。