先手 SENTE · 周报阅读清单 · 速读 · arXiv 2610.10533
EngramEdit:只改「记忆表」,给大模型更新事实
EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
Hongru Cai,Ran Wei,Wenjie Wang,Chengfa Wu 等 7 位作者 · 2026-10-07
不动模型主干,只改 n-gram 记忆表来更新事实
打开交互式解读 →三个要点
- 背景:DeepSeek Engram 这类「条件记忆」架构,会用输入里的 n-gram(连续几个词)去查一张可学习的嵌入表。已有消融显示,关掉这张表主要损伤事实知识、而上下文理解与推理基本保留——事实很可能就存在这里。
- 方法:先算出能让模型在多种说法下都说出新事实的「目标记忆」,再把这些目标联合分摊到共享的 n-gram 嵌入上;被很多输入复用的嵌入(短词、高频词)改动惩罚更重,以免误伤无关知识。
- 结果(LongCat-Flash-Lite 上):CounterFact 编辑成功率 99.5%;改过的事实能用于多跳推理,在 MQuAKE 上用思维链提示时准确率接近最强基线的 3 倍;连续编辑过程中无关知识和通用能力基本保持。
近 3× 多跳推理准确率(思维链提示)对比最强基线
适合谁读:需要频繁更新模型事实的企业知识库、合规与客服团队;关注 DeepSeek / 美团 LongCat 一类条件记忆架构路线的研究者与投资人。
AI 解读 · 基于原文:本页由 AI 根据论文原文整理,所有数字均可在原文中找到出处;引用前请核对原文。