先手 SENTE · 周报阅读清单 · 速读 · arXiv 2610.11599
模型换代太快，学术期刊的「AI 写作检测」正在失灵
Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing
Kazuki Nakajima，Takayuki Mizuno · 2026-10-08
新模型一发布，AI 写作检测器就可能从 99% 跌到 3.8%
打开交互式解读 →三个要点
- 研究设计：把 4,000 篇 ChatGPT 出现之前的 PNAS 摘要，交给三家厂商、2023 年 6 月至 2026 年 8 月发布的 23 个模型版本改写，再训练各种「维护策略」的检测器：从每个新版本都重训，到训练一次再不更新。
- 核心发现：只用某厂商旧版本训练的检测器，会在模型代际边界处崩溃——在误伤 1% 人类摘要的设定下，最剧烈的边界前能抓住 99% 以上的改写，边界后只剩 3.8%。用新版本训练的检测器也可能漏掉旧版本的改写；版本间的用词差异基本决定了检测能否迁移。
- 现实后果：模拟的两种覆盖全部 23 个版本的筛查方案，要么把八分之一的人类摘要误判为 AI，要么漏掉最新版本三分之一的改写。一款商用检测器也漏掉了边界后那个版本的大部分改写。作者建议：检测器的基准准确率应视为暂时的，每次模型发布都要重新验证。
99% → 3.8% 检测率在最剧烈的模型代际边界前后（误报率固定 1%）
适合谁读：学术期刊与会议、教育和招聘场景的内容审核方；做 AI 内容检测与水印的创业公司及其投资人。
AI 解读 · 基于原文：本页由 AI 根据论文原文整理，所有数字均可在原文中找到出处；引用前请核对原文。