跳到正文

方向与市场

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

15 条精选近 30 天 13 条共收录 66 条

更新

部署工程的精选

今天10月8日周四第 1–15 条
  1. NVIDIA Blog72

    NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布操作系统级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,可据此判断本地智能体的落地路径。

  2. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:3500 行轻量智能体 RL 框架,支持真实 harness 训练

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,读者可了解无需重写 harness 的智能体 RL 训练范式与 3500 行实现。

10月6日周二
  1. AWS Machine Learning Blog62

    GLM 5.3 上线 Amazon Bedrock

    智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,这是一个 753B 参数的 MoE 模型,面向编码与长时程智能体任务,可通过全托管 API 调用。

    推荐理由:GLM 5.3 在 Bedrock 上的托管接入与提示词缓存用法,可帮助读者判断长时程编码与安全测试工作流的落地成本。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统

    Google Research 公布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可远程验证和审计的保证,并已由 Gboard 采用。系统通过访问策略公开透明日志、KMS 密钥管理与可复现构建,使加密训练数据只能在符合策略的 TEE 内解密处理。Gboard 已用该系统上线英语和日语下一词预测模型,训练时间从此前的 1-2 个月缩短,目前主要受 TEE 资源限制。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的落地情况,可了解隐私可验证训练的实现路径。

  2. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,双机可集群扩展至 128GB

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在本地运行。

    推荐理由:原文给出 64GB 新配置的价格、上市时间与双机集群实测数据,可据此判断本地跑大模型的成本与扩展方式。

  3. NVIDIA Blog76

    NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast

    OpenAI 的 GPT-6 Astra Ultrafast 已在 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户中开放,运行在 NVIDIA Blackwell GPU 上,token 生成速度最高比 Astra Standard 模式快 8 倍。

    推荐理由:原文给出 Ultrafast 模式相对标准模式的加速倍数与开放入口,读者可据此判断它对编码智能体循环的实际影响。

9月30日周三
  1. NVIDIA Blog60

    NVIDIA 与 CoreWeave 将 Vera Rubin NVL72 和 Forge 平台投入生产

    CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网,Cognition 成为首个在生产环境运行该系统的客户,其早期测试显示 SWE-2 推理的 token 吞吐量相比 GB200 NVL72 最高提升 4.8 倍。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 与 Forge 平台,读者可了解智能体训练到推理闭环的落地方式。

9月28日周一
  1. Hugging Face Blog71

    H 公司发布 Holo4 系列智能体模型,含 27B 稠密与 35B-A3B MoE 两个版本

    H 公司发布 Holo4 系列智能体模型,包含 27B 稠密版和 35B-A3B MoE 版,两者均已在 H Models API 上线,权重以 BF16、FP8、NVFP4 和 4-bit GGUF 格式开源在 Hugging Face。

    推荐理由:Holo4 同时覆盖 GUI、代码、MCP 与 API 四种接口,并公开全部评测轨迹,读者可据此判断通用计算机智能体的成本与能力边界。

9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 可提升任务表现。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的性能与续航代价,并给出可复用的卸载工具链,为物理 AI 推理架构提供实测依据。

  2. Google DeepMind62

    Google 为 Private AI Compute 引入安全的服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台加入私有服务端记忆的技术方案,让 AI 助手在跨设备场景下保留上下文,同时维持端侧级别的隐私标准。

    推荐理由:Google 给出私有 AI 计算加入持久化服务端记忆的架构思路,读者可了解云端记忆与端侧隐私如何折中。

9月17日周四
  1. GitHub Blog · AI & ML80

    GitHub Copilot 用 Copilot 把运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI 智能体写了大部分代码,分布在 128 个 PR 中增量合入 main,而非一次性切换。

    推荐理由:作者以亲历者身份给出把 80 万行运行时迁到 Rust 的完整工程细节,可迁移到大规模 Agent 协作开发。

8月20日周四
8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与 Priority Tier,并接入 GLM-5.2

    Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的正常运行时间承诺。

    推荐理由:Mistral 把区域推理、第三方开源模型接入和欧洲算力联盟放在同一套基础设施里,读者可据此理解主权 AI 的落地方式。