长对话别整段重读,记忆要单独管

未来半年到一年,长对话和长文档应用在质量差不多时,会少花「整段历史重读」的钱,把预算挪到外部记忆管理。

打开论点交互视图 →

为什么这样判断

历史持续累积时,每轮重新处理全部对话、文档或画面,会使重复推理消耗随交互时长扩大,买方承担的成本超过当轮新增信息本身。把稳定事实、人物属性或场景状态存入可更新的外部记忆,再按当前任务检索,可以把重复读取转化为写入、索引维护与少量读取。若在质量持平下,全链路成本随历史增长的斜率下降,应用方就有动机把增量预算移向记忆管理,并按检索准确率、状态新鲜度与任务完成率验收。漏检、过时状态及重复编码会增加失败补救成本,因此收费空间取决于相对简单缓存和长上下文方案的净节省,而非可存储的历史长度。

另一种解释

W05 的 Random Attention 报告,保留提示缓存后随机淘汰其余缓存,精细淘汰的额外收益有限(作者自报),提示简单缓存可能吸收一部分优化价值,但该实验只涉及推理缓存,尚非跨会话记忆的直接对照。W08 的 WorldCrafter 在复杂或超长轨迹仍会失稳,逐片段重新编码还增加延迟(作者自报),直接削弱外置状态能持续降本的前提。W04 的 VoiceMem 所报 134 毫秒只是检索耗时,且未披露真实部署效果(作者自报),现有数据仍没有应用买方增加记忆预算的直接证据。

公开证据预览

这里只展示访客可读的两条预览,保留支持、补充与反驳的区别。预览不是完整证据清单。

公开预览中出现的公司

沿着这些公司的实践继续阅读;这不是完整的论点成员清单。