跳到正文
10月2日周五
5月8日周五
  1. Berkeley AI Research38

    自适应并行推理:高效推理扩展的下一个范式

    伯克利 AI 研究团队发布综述,分析并行推理领域进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章指出,顺序推理随探索量线性扩展,会遭遇上下文退化(context-rot)并导致延迟随推理长度成比例增长,复杂任务常需用户等待数十分钟甚至数小时。