谷歌推出 ScientistTwo 自动科研系统,超人类 SOTA

作者:AGI Hunt 发布:2026-09-22 22:45 收录:2026-09-23 00:55 4 次阅读 约 2122 字
摘要:107 道科研题,86 道被攻克
GOOGLE CLOUD AI RESEARCH · 2026.09给它一篇论文,它接着做研究。ScientistTwo原论文 + 代码新方法 + 新论文系统自己跑实验、写论文,并交付可执行代码。86 / 10780.4%报告取得改进的任务成功率每格是一道题,点亮的是 86 个成功案例。结果只覆盖论文选取的这些问题。题目来源9 月 17 日提交 · 71 页 · 沿用 AutoSOTA 筛选标准入选条件:顶会接收,有代码,可以复现。NeurIPS 202533 / 38ICLR 20264 / 5ICML 2026 Spotlight49 / 64分子:成功任务;分母:该来源的全部题目一套方法,要面对整套 benchmark。数据集 A数据集 B数据集 C多数据集 × 多指标;格子为评估维度示意。LLM / 机器人 / 语音 / 时间序列强化学习 / 博弈论 / 隐私 / 优化科研流程想法先拿去做实验,哪里不过关,就回去改哪里。找局限、生成想法子集筛选与全集实验根据结果继续改想法消融,查清增益来源写稿、审稿与补实验终审,不够好就重做想法迭代找局限检查新颖性Extractor + Verifier最多 16 轮Google Search检索 2 篇参考论文初始想法根据已有结果改进候选 A候选 B实验记录每轮 2 个候选 · 最多 4 轮得到 4 个成功想法,可提前停止。轻点检索能帮助判断想法是否新颖,但也可能漏掉已有研究。先跑子集Critic 先看子集的实验结果,再决定要不要跑全集。子集实验结果淘汰再调整跑全集BadEngineerGood工程调整最多两轮;全集结果还要再过 Critic。轻点增益从哪来TeCh 案例5 / 6 项指标超过基线Ablation Planner 拆开组件,检查增益来源。训练控制EMAlabel smoothing提出的新组件提升主要来自训练设置,没能证明新组件有贡献。这项工作没有被计入成功案例。未证明有效multi-core未证明带来提升轻点写稿与审稿PaperOrchestra生成初稿ScholarPeer模拟审稿< 8 / 10补实验,再修改最多 2 轮审稿质疑补实验修改稿件再审终审发现方法有问题,就退回去改想法。重做实验与消融,再写稿。轻点两个 AI 审稿器ScholarPeer参与改稿也参与评分Stanford开发时未使用单独用于评估两位审稿人都是 AI。它们给出的接受率,不等于真实顶会的录用率。两个审稿器的成绩单
ScholarPeer系统 / 篇数均分接受率AI-Researcher7 篇1.00.0%CycleResearcher6 篇1.00.0%AI Scientist-v23 篇2.00.0%AutoResearchClaw4 篇2.50.0%Zochi2 篇3.00.0%DeepScientist3 篇3.00.0%ScientistOne21 篇3.814.3%ScientistTwo86 篇7.591.9%分数满分 10;样本量不同,不能只看百分比。Stanford Agentic Reviewer系统 / 篇数均分接受率AI-Researcher7 篇2.40.0%CycleResearcher6 篇2.80.0%AI Scientist-v23 篇2.50.0%AutoResearchClaw4 篇3.70.0%Zochi2 篇2.90.0%DeepScientist3 篇4.10.0%ScientistOne21 篇4.10.0%ScientistTwo86 篇5.772.1%分数满分 10;样本量不同,不能只看百分比。
与人类论文相比ScholarPeer 均分 / 满分 10ScientistTwo7.5ICLR 人类原论文6.8NeurIPS 人类原论文6.2Stanford 审稿器:Spotlight 组接受率人类 Spotlight 论文96.9%评估 64 篇 · AI 审稿接受率对应的 ScientistTwo 产出69.4%评估 49 篇 · AI 审稿接受率在 Stanford 审稿器上,均分也高于 ICLR、NeurIPS 原论文,但仍落后于 Spotlight。这些都是模拟评审的结果。平均与中位数25.2%平均相对提升7.7%中位相对提升两项都只统计成功案例。少数提升很大的结果拉高了平均值,不同任务用的指标也不一样。Gemini 3.6 Flash 提取结果表 10 次,再取平均AutoSOTA 对照ICLR 小样本 · 中位增益5.0%2.2%AutoSOTAScientistTwo调既有代码优化目标分数提出方法查清提升来源生成完整论文两套系统的目标、硬件和成功标准都不同,这组数字不能直接用来判定谁更强。再改进一轮在增量 BPE 分词这个例子里,每次把新方法交给下一轮继续改。提升都相对上一轮,不能简单相加。
第 1 轮输入基线Jiang and Gong(2026)VD-STrans+10.9%相对上一轮的提升论文评分 6.5 / 10第 2 轮输入基线VD-STransBXT-Transducer+9.6%相对上一轮的提升论文评分 5.6 / 10第 3 轮输入基线BXT-TransducerSBR-Transducer+8.2%相对上一轮的提升论文评分 7.1 / 10
模型分工Gemini 3.6 Flash规划 / 生成想法 / 批评与审稿Claude Code + Opus 4.8实验实现消融实验补充实验稿件增强换成 Antigravity + Gemini 3.8 Flash 后同一小样本 · 5 道题Claude Code4 / 5成功案例均增益 3.8%Antigravity3 / 5成功案例均增益 16.7%成功率从 80% 降至 60%,AI 审稿表现也下降成功案例的平均提升反而更高。不过只测了 5 道题,还不足以给编码 Agent 排名。一题的时间与费用33 个 NeurIPS 来源任务Token 费用 + 虚拟机费用时间与账单,花在了哪里?
时间分配2.5 天平均每题初始想法0.6%初始实现19%想法修订44.9%消融分析16.4%初稿写作3.6%审稿与终审15.5%初始想法占比由其余标注值补足至 100%。费用分配$3765平均每题初始想法0.2%初始实现20.1%想法修订45.4%消融分析15.4%初稿写作3.1%审稿与终审15.8%初始想法占比由其余标注值补足至 100%。
9 人评审,33 篇论文独立打分相对人类论文3.7 / 53.0整体科学成熟度整体打平相对偏好:3.0 打平;越高越偏向 ScientistTwo动机与相关工作3.1独立打分 4.2 / 5方法严谨性2.9独立打分 4.1 / 5基线与实验广度3.5独立打分 4.0 / 5消融实验3.3独立打分 4.3 / 5洞察与局限分析3.3独立打分 4.0 / 5整体科学成熟度3.0独立打分 3.7 / 5图示横轴 2.0–4.0;问卷完整量表为 1–5。评审认为,人类论文的方法略严谨,ScientistTwo 的实验更全面。这里评的是 33 篇 NeurIPS 来源的生成论文。论文与代码CoE Integrity Audit样本:49 篇 ICML 来源的成功产出49 / 49结果可复现重新执行代码,对照报告分数0 / 49规格违规检查是否违反任务规则或刷分0 / 1814幻觉引用通过搜索核查参考文献49 / 49方法与代码一致核对论文描述和实际实现去掉检查之后去掉相关修订 Agent 的消融结果规格违规1 / 500 / 49幻觉引用19 / 18170 / 1814方法代码一致38 / 4949 / 49左:缺少对应检查;右:完整系统多完成的那道任务,因为违规被剔除了。引用要搜索核实,方法要与代码对得上;实验阶段就得提供可复现脚本。这几组数字说明了什么86 / 107任务改进选定问题上,有没有取得改进?72.1%AI 审稿接受率生成论文,在自动评估中表现如何?49 / 49结果可复现审计样本的报告分数,能否复跑?这些检查有用,但不能保证研究没有问题,也不能代替真实的顶会审稿。SCIENTISTTWO / 论文解读还做不到什么成本还是很高,典型提升没有平均值那么大,与Spotlight 论文也还有差距。三轮自改进只来自一个 BPE 案例,能不能一直改下去,还不知道。项目公开了 86 篇论文。感兴趣的话,可以把论文和代码放在一起看看。依据:arXiv:2609.19644v1 · 图表按论文重绘动画解释过程,不表示真实运行速度。

转载声明:本文转载自原发布平台 (作者:AGI Hunt), 原文标题《谷歌推出 ScientistTwo 自动科研系统,超人类 SOTA》, 查看原文。 版权归原作者及原发布平台所有,本站仅作收录与展示,未对正文内容作实质性修改; 若涉及侵权请联系本站处理。