AWS 介绍 Bedrock 上 OpenAI 模型提示缓存模式

AWS 作者 Claudio Mazzoni 在 AWS Machine Learning Blog 发文，介绍在 Amazon Bedrock 上为 OpenAI 模型使用提示缓存的几种模式：显式断点、隐式缓存，以及两者结合。 文中列出的适用条件包括：可复用前缀需达到 1,024 个 token 才符合条件；缓存前缀最短存活时间为 30 分钟，成功复用会刷新该时间，也可能保留更久；复用已有缓存内容要求使用同一模型、同一 AWS 账户和同一区域，并且存在可匹配的前缀。 成本方面，文中称缓存写入按正常输入价格的 1.25 倍计费。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。