跳到正文
Hugging Face Blog·· 13 小时前精选AI 评分60

PyTorch 2.15 为 MPS 后端带来 FP8 与更快的模型解码

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 在 MPS 后端加入 FP8 支持,并让 MoE 模型解码速度比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。

推荐理由

原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字,可据此判断 Mac 本地跑模型的实际变化。

来源:Hugging Face Blog · huggingface.co

木叶资讯微信公众号二维码

关注公众号,每天收到精选与决策卡

长按识别二维码