新智元报道
编辑：泽正 好困
【新智元导读】 又爆大瓜！frontiermath的o3惊人表现，竟是因openai资助了epoch ai而提前获得大部分试题访问权。openai模型的性能究竟几分是真，几分炒作，愈来愈变得扑朔迷离。
不久前，openai在「圣诞12连更」中发布的最强推理模型「o3」，毫无疑问地惊艳了所有人。
尤其是对于新近发布的数学基准frontiermath，其准确率相比o1直接翻了12倍。
正因如此的高难度，o3这种对于frontiermath惊人的突破才让大家都对其推理能力而感到不同凡响。
但是，近日曝出一则消息，o3之所以能在短时间之内就相比于o1提升12倍的准确率，是因为openai资助了frontiermath，并且可以访问大部分数据集。
但那些为评测集创建问题和解答的数学家们却完全被蒙在鼓里，根本不知道openai是项目资助方并将获得数据访问权。
简单来说就是：
我们无从得知openai是否用这个评测集训练了o3，因此他们宣称的结果可信度值得质疑
数学家们被有意隐瞒了真相，而大多数人甚至从未怀疑过会有一家ai公司在背后提供资金支持
对此，epoch ai解释称： 「我们承认openai确实可以访问大部分frontiermath的问题和凯发ag旗舰厅下载的解决方案，但有一个openai未见过的保留集使我们能够独立验证模型能力。我们有口头协议这些材料不会用于模型训练。 」
但是这所谓与openai达成的「口头协议」——呵，现在还有谁会相信openai的承诺？
根据网上的各种报道，frontiermath中的难题本应都是未公开的，目的就是防止ai公司利用这些数据训练模型。
然而现在看来， 「ai公司根本接触不到这个数据集」 这一点，实际上却是epoch ai和openai刻意制造出的假象。
但考虑到openai前科累累的欺骗和误导行为——从蒙骗自家董事会，到强迫前员工签署秘密的不诽谤协议，应有尽有。
所以这次的事件，多少有种「意料之外，情理之中」的意味了。
epoch ai首席数学家回应
消息曝出后，epoch ai首席数学家elliot glazer对此进行了回应。
他首先是承认了自己的错误，并对因为没有被告知真相而自主做出贡献的数学家致以歉意。
而对于o3那惊人的25.2%的准确率，他只是个人层面上表示相信，却没有一个真实可靠、有理有据的保证。
epoch ai联创tamay besiroglu也正式发布了博客作为回应。
对于此次事件，tamay给出的解释是： 「我们的合同明确禁止披露资金来源信息以及openai可以访问大部分（但不是全部）数据集的事实。」
现在回想起来，我们应该更积极地争取向评测集贡献者及时公开相关信息的权利。我们对此承担责任，并承诺未来会做得更好。
虽然我们确实向部分数学家告知了来自lab的资金支持，但这种沟通并不系统，也没有具体说明合作方。
这种不一致的沟通方式是我们的疏忽。我们应该一开始就坚持争取公开合作关系的权利，尤其是对那些创建问题的数学家们。
仅在o3发布前后才获得披露openai参与的许可是远远不够的。参与项目的数学家们有权知道谁可能会接触到他们的工作。
尽管我们受到合同条款的限制，但我们应该将对贡献者的透明度作为与openai合作的基本前提。
同时，对于frontiermath他仍然声称： 「openai完全支持我们维护独立的未见测试集的决定——这是防止过拟合和确保准确评估进展的重要保障。」
在交流中，openai的员工将frontiermath称为「严格保留」的评估集，这种公开表述与我们的理解一致。
而且，我想强调的是，拥有真正未被训练数据污染的测试集对各个lab都很重要。
从项目伊始，frontiermath就被设计和定位为一个评估工具，我们相信当前的安排完全符合这一初衷。
对于未来的合作，我们将致力于提高透明度，确保贡献者能在项目初期就清楚了解资金来源、数据访问权限和使用目的等信息。
总结来看，epoch ai的确意识到了这次事件的严重性，但是很多回应依然停留在「公关套词」层面，并且全程都在甩锅称自己不说是因为「合同」的限制。
已有端倪，激起热议
一石激起千层浪，纽约大学教授gary marcus，亚利桑那州立大学计算机教授subbarao kambhampati等大佬，纷纷发文对openai这一的行为表示谴责。
左右滑动查看
其实，在去年12月刚发布时，便有参与o3-mini早期测试的研究人员发现了这一端倪。
比如open vision engineering的创始人akshay narisetti在推上po出的发现，就从侧面印证了这次的爆料：
o3-mini在arc-agi中的正确率为156/400
o3-mini在frontiermath上的表现并不理想
根据实测结果，模型擅长解决特定类型的问题，但泛化能力还未完全成熟。在结构化任务上表现优异，但在需要多维度推理能力的问题上仍有明显短板。
对此，谷歌deepmind的研究员「ted xiao」分析认为，这种影响可以有两个极端的解释：
1. 糟糕，openai正在操纵benchmark，还把测试题目泄漏进训练数据里了！2. openai只是用frontiermath的私有题库来指导新训练数据的整体设计方向和目标，以及设计推理路径。
当然了，也有没那么极端的。比如，稍微改改题目内容创建新的训练数据，这样从技术角度来说，确实没有直接用测试数据中的token来训练。
如今，sota模型之间的竞争已经白热化。如果使用这种投机取巧的方式，模型在实际应用场景中就会原形毕露（缺乏泛化能力）。
这种冒险顶尖ai实验室可承担不起，因此于理来说，openai更可能采用第二种方式。
但即便如此，这一行为依然让o1和o3在frontiermath上，表现得比在其他未经优化的复杂推理领域中更亮眼。
不过，这种差距应该不会像某些在mmlu上采用第一种手段的「小语言模型」那样——评测分数和实际能力简直是天壤之别。
对于那些坚信openai用了第一种方法、偷偷把测试数据混进去的人，我建议：不妨等等看o3在实际应用场景和其他评测中，跟下一代重点强化推理能力的顶尖模型相比，表现如何。
到时就知道，o3是不是只在frontiermath上特别强，在其他地方就不行了。
参考资料：
https://x.com/mihonarium/status/1880944026603376865
https://x.com/xiao_ted/status/1881075585843069258
https://x.com/elliotglazer/status/1880812021966602665
| 贱货又被谁刚操完视频又被很捏奶头视频 | 4天前 |
| 精品久99 | |
| 操你妈操死我啊啊啊啊啊 快射进来啊啊啊啊啊啊 | 4天前 |
| 免费视频在线观看爱品爱网 | |
| 银色头冠 | 9天前 |
| 白洁孙倩 | |
| 大乱交av | 7天前 |
| 色人阁婷婷 | |
| 黑人强奸无码 | 3天前 |
| 中文字幕在线观看第一页 | |
| 天媒蜜桃传媒在线观看 | 1天前 |
| 国产操老熟 | |
| 肌肉男被操晕 | 3天前 |
| 日本动态图最新中文字幕 | |
| 爱琴海论坛视频 | 8天前 |
| 欧州三级黄色片 | |
| 黄xxx.ww | 6天前 |
| 日本禁网站 | |
| 罗志祥5g运动免费网址 | 3天前 |
| 国产91丝袜一区二区在线观看 | |