新闻正文
近日,哈佛、谷歌DeepMind等机构设计的评测TheoPhysEval引发热议,OpenAI的GPT-6 Astra在50道未公开研究级理论物理题中做对49道,准确率98%,总成本116美元,单题2.33美元;部分题目起初被认为「AI算错」,复查后却发现人类专家参考解答有误,机构则强调这并非代表「AI解决物理学」,而是AI在可验证科研计算题上接近顶尖博士生水准。
TheoPhysEval共50题,全来自出题学者未发表研究笔记,涵盖量子场论、黑洞等11方向。题目属「turn-the-crank」任务:理论框架已存在,解题者需读文献、改参数、推公式、写程序算出可验证数值。为防模型背答案,答案转高精度浮点数,并混入无意义参数,顶尖专家无AI辅助解一题约需一天。
测试分两部分:Astra与Opus在无网络帮助下仍各解46题(92%),显示主要模型将大量公式推导压进权重,另一部分允许联网查文献、写代码、跑脚本;隔离轨断网,只留本地计算工具,答对率GPT-6 Astra 49/50(98%)、Claude Opus 5.5 46/50(92%)、Gemini 3.8 Flash 34/50(68%)。Astra跑完50题成本116美元,Opus则需240美元。
社群流传Astra先拿88分后飙98%,坚称专家算错。论文原文更保守:团队起初判定Astra数题出错,核对后发现原始参考解有符号、近似条件等疏漏,专家修正后Astra解法被确认正确,样题包括黑弦Page time、全电子原子求解器等。
50题中有一道所有模型都没解开:给带噪声曲线反推生成它的自治微分方程。这是逆问题,信息不对称、解不唯一,需物理直觉。论文作者指出,AI自己出题时常陷繁琐代数,缺乏人类「taste」,会算但不会判断「哪条路值得走」。
此前,麻省理工学院(MIT)研究取254篇近期论文理论题,断网测试o1到GPT-5.5,解题一致率从o1的2.8%升至GPT-5.5的34.6%,16个月年均+22个百分点。研究提醒,这是同系模型纵向比较,不等于AI超越人类科学家,答案仍须专家验证。
TheoPhysEval意义在科研分工重排:过去丢给博士生练手的推导、数值计算,正被Agent以两美元单价承接。人类科学家内核价值往前提——定义问题、设计检证、判断AI输出合理性。论文作者甚至写道,这类「摇手柄」题目不宜再当研究生入门练习。短期内AI更像「不疲倦的合著者」;要谈接管物理学,还差最后一道逆问题与一种叫作品味的东西。