i14与AWS在Trainium2上训练并服务Laplace 3B
热点事件持续更新
i14与AWS在Trainium2上训练并服务Laplace 3B
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
i14与AWS团队用TorchNeuron Native的原生PyTorch支持，在AWS Trainium2上训练并部署了基于门控线性注意力的Laplace 3B模型。单台trn2.48xlarge训练吞吐约120,000 tokens/s，数据截至第84,210步、约440亿tokens。 服务侧，GenAIIC团队通过未修改的vLLM引擎，在同一机型上以1,280并发序列实现每秒11,544个输出token。 报道提示，BF16重结合会使编译输出与eager模式略有差异，需要精确复现时应使用eager解码；若上下文增长推高服务成本、限制并发或占用代理内存，可联系AWS评估该模型。
AI 根据报道生成 · 32 分钟前更新
最新进展10月21日 05:14
i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- AWS Machine Learning Blogi14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 团队用 TorchNeuron Native 在 Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B，单台 trn2.48xlarge 训练吞吐约 120,000 tokens/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。