AWS介绍Bedrock上OpenAI模型提示缓存模式

AWS Machine Learning Blog 发文介绍在 Amazon Bedrock 上调用 OpenAI 模型时，为 AI 智能体配置提示词缓存的做法：区分隐式缓存与用 prompt_cache_breakpoint 标记的显式缓存，并建议两者结合使用。 文中给出的适用条件包括：可复用前缀须达到 1,024 个 token 才符合条件；缓存前缀最短存活 30 分钟，成功复用会刷新，也可能保留更久；复用已有缓存内容要求同一模型、同一 AWS 账户和同一区域，且存在匹配的前缀；缓存写入按正常输入价格的 1.25 倍计费。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。