henry 发自 凹非寺
量子位 | 公众号 QbitAI
刚刚，最后一道FrontierMath Tier 4难题，被GPT-6 Astra攻破了。
至此，这套曾经被视作大模型数学噩梦的研究级测试，所有题目都已经至少被AI成功解出过一次。
Epoch AI也正式给它下了结论，FrontierMath Tier 4，饱和了。
虽然从上面的图里看，Astra还没有直接干到100%，OpenAI自己公布的成绩也是97.6%。
但按照Epoch的算法，“全部解出”指的是把不同模型、不同时间的尝试累积起来以后，Tier 4里的每一道题都已经有过成功解答。
而Astra干掉的，正是此前唯一还没有被AI攻破的那一道。
（简单理解就是Astra可能在某次测试中出错了，但它对的那道题是此前没被解出来的）
有一说一，这个发展速度还是相当离谱的。
如果你关注模型评测的话，就知道2025年7月11日，Tier 4刚刚推出时，榜上最高成绩只有大约5%。
现在刚过了一年零2个月，这个曾经的“高墙”已经变成了“台阶”，最后一道难以被AI通过捷径绕道解决的问题也被跨越。
出题人自马凯特大学数学副教授Jay Pantone也表示，以往AI都会找数值捷径，而这一次，AI的解法和自己相当接近。
不过，就在最近GPT-6 Astra集中向数学界猛攻，三天两头解决千禧年难题之际，Pantone表示自己已经很难惊讶了！
可以说，数学俨然已经成了Astra最近刷存在感最猛的地方之一。
FrontierMath最早于2024年11月7日发布，而它诞生的目的，本身就是为了避免数学Benchmark过快被AI刷穿。
当时像GSM8K、MATH这样的传统数学Benchmark已经越来越难拉开头部模型之间的差距，于是Epoch AI联合60多位数学家，重新设计了一批此前从未公开过的原创题。
其中，就包括陶哲轩、Timothy Gowers、Richard Borcherds等菲尔兹奖得主。
陶哲轩当时看完其中一些研究级题目后直言，这些题“极其困难”，甚至判断最难的Tier 3，可能还能让AI再卡上几年。
结果第一轮测下来，果然不出所料，领先模型的正确率还不到2%。
具体的，在最开始，FrontierMath的核心题库共有300道题，按照难度分成Tier 1、Tier 2和Tier 3三个层级。
Tier 1大致接近高难度本科题和数学奥赛，不过允许使用更高级的工具；Tier 2已经来到高年级研究生难度；Tier 3则更接近博士生早期会遇到的探索性研究问题。
但随着推理模型出现，这前三层也开始越来越不够用了，于是2025年，Epoch又往上加了一层，Tier 4。
Tier 4大多由数学教授和博士后设计，每个人会围绕自己的研究方向，进行数周左右的短期研究，最后再把成果压缩成一道可以被自动验证的问题。
最初，Tier 4一共收录了50道题。它们覆盖的范围包括分析、数论、组合数学、拓扑、代数几何……
在发布之初，所有模型历次测试加起来，也只有3道题曾经被解出，而且这些解答还依赖了一些正确、但没有被充分论证的假设。
鉴于此，在官网的公开样题页面上，Epoch还一度写道：其中一些题，可能几十年都不会被AI解决。
（这句话现在开始被反复鞭尸）
不过随着模型越来越强，另一个问题也暴露了出来：题库本身也开始经不起AI“拷打”了。
OpenAI在测试过程中发现，FrontierMath里的错误比预期更多。
随后Epoch启动独立审计，先用GPT-5.5和Claude Opus 4.7筛查疑点，再交给数学家逐题复核。最终在2026年6月推出v2版本，其中Tier 4修正了12道题、移除了7道题，留下43题。
修订之后，模型的成绩依然一路往上冲。
GPT-5.6 Sol做到83.0%，Claude Fable 5达到90.2%，到了GPT-6 Astra，成绩已经来到97.6%。
更关键的是，Astra还补上了此前唯一一道从未被AI解出的题。
至此，Tier 4里的每一道题，都已经至少被AI成功攻破过一次。这套专门为最强模型加出来的研究级防线，最终也被刷穿了。
不过，这并不意味着“数学已经被AI解决了”。恰恰相反，FrontierMath自己已经开始往下一阶段走。
现在整个项目除了Tiers 1-4，还增加了真正的Open Problems，以及把Erdős开放问题形式化进Lean的FrontierMath Erdős。
前者直接拿尚未被数学界解决的研究问题考模型；后者则要求AI写出能够通过形式化验证的完整证明。
这一次，Astra在FrontierMath Erdős的68道问题里，只解决了2道。
故事仍在继续～