FrontierChallenge：科学 Agent 能交付完整的研究工作流吗？

部分得分很高，完整交付很少：最好的配置也只完成五分之一

3 分钟版

问题　科学 Agent 越来越多地产出研究成果，但多数基准只看最终答案、孤立程序或单一领域，无法检验 Agent 能否把一个多阶段的科学工作流完整交付。

思路　收集 300 个来自真实科研与工程实践的端到端工作流，本次公开并评测其中 97 个（不需要 GPU 评测的子集中随机抽取），覆盖量子化学、分子动力学、材料表征、分析化学、生命科学、电化学 / 环境六个领域。每个任务是自包含的包：任务描述、固定输入、可用软件、交付清单和可执行评分器。主指标是严格的完整通过率，平均分只衡量部分进展。

结果　通过率在 3.1% 到 20.6% 之间，平均分却在 67.5 到 87.9 之间。GPT-5.6 Sol（Codex）平均分最高 87.9，与 Grok 4.6（Claude Code）并列最高通过率 20.6%。分析化学和电化学 / 环境的最高平均分为 87.6 和 94.9，最高通过率只有 4% 和 0%（作者自报）。

所以呢　未通过的 Claude Code 轨迹中 75.5% 以「已完成」类语言收尾。Agent 的自我汇报不能当作交付证据；评测与产品验收都要逐项检查交付物。

关键数字

• 20.6% 最佳配置的完整通过率（摘要 · §4.3）
• 87.9 最高平均分（GPT-5.6 Sol + Codex）（§4.3）
• 75.5% 未通过轨迹中仍声称完成的比例（§4.7）
• 0% 电化学 / 环境领域的最高通过率（§4.5）

局限与疑问

• 只公开 97 个任务，均来自无需 GPU 评测的子集。
• 领域任务数不均衡，不能当作学科难度排名。
• 部分条目由被评测模型之一（GPT-5.6 Sol）当裁判。
• 失败分析只覆盖 Claude Code 轨迹。
• 结果为作者自报。

arXiv 摘要页 · PDF