长对话别整段重读,记忆要单独管
未来半年到一年,长对话和长文档应用在质量差不多时,会少花「整段历史重读」的钱,把预算挪到外部记忆管理。
为什么这样判断
历史持续累积时,每轮重新处理全部对话、文档或画面,会使重复推理消耗随交互时长扩大,买方承担的成本超过当轮新增信息本身。把稳定事实、人物属性或场景状态存入可更新的外部记忆,再按当前任务检索,可以把重复读取转化为写入、索引维护与少量读取。若在质量持平下,全链路成本随历史增长的斜率下降,应用方就有动机把增量预算移向记忆管理,并按检索准确率、状态新鲜度与任务完成率验收。漏检、过时状态及重复编码会增加失败补救成本,因此收费空间取决于相对简单缓存和长上下文方案的净节省,而非可存储的历史长度。
另一种解释
W05 的 Random Attention 报告,保留提示缓存后随机淘汰其余缓存,精细淘汰的额外收益有限(作者自报),提示简单缓存可能吸收一部分优化价值,但该实验只涉及推理缓存,尚非跨会话记忆的直接对照。W08 的 WorldCrafter 在复杂或超长轨迹仍会失稳,逐片段重新编码还增加延迟(作者自报),直接削弱外置状态能持续降本的前提。W04 的 VoiceMem 所报 134 毫秒只是检索耗时,且未披露真实部署效果(作者自报),现有数据仍没有应用买方增加记忆预算的直接证据。
公开证据预览
这里只展示访客可读的两条预览,保留支持、补充与反驳的区别。预览不是完整证据清单。
- · 补充:AgentGarten 以代码管理世界状态、神经渲染生成外观,环境可版本化重放(作者自报)。
- · 补充:EngramEdit 只编辑条件记忆即可更新模型事实,无需修改主干参数(作者自报)。
公开预览中出现的公司
沿着这些公司的实践继续阅读;这不是完整的论点成员清单。