AWS Machine Learning Blog· Kevin Shabahang·· 2 小时前AI 评分58
i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 与 AWS 团队用 TorchNeuron Native 在 Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B，单台 trn2.48xlarge 训练吞吐约 120,000 tokens/s。
来源：AWS Machine Learning Blog · aws.amazon.com