【新智元导读】o3编码直逼全球TOP 200人类选手，却存在一个致命问题：幻觉率高达33%，是o1的两倍。Ai2科学家直指，RL过度优化成硬伤。

　　OpenAI技术报告称，o3和o4-mini「幻觉率」远高于此前的推理模型，甚至超过了传统模型GPT-4o。

　　根据PersonQA基准测试，o3在33%的问题回答中产生了幻觉，几乎是o1（16%）的2倍。

　　甚至，有网友一针见血地指出，「o3对编写和开发超1000行代码的项目极其不利，幻觉率极高，且执行指令能力非常差」。

　　要知道，o3和o4-mini在Codeforces中成绩均超2700分，在全球人类选手中位列TOP 200，被称为OpenAI有史以来最好的编码模型。

　　过去，每一代新模型的迭代，通常会在减少幻觉方面有所进步，但o3和o4-mi九游体育ni却打破了这一规律。

　　技术报告中，研究团队坦言，「还有需要进一步研究来弄清，模型生成更多断言的问题」。

　　提前拿到o3内测资格后，非营利AI研究机构Transluce的测试，进一步印证了这一问题。

　　比如，o3声称它在一台2021年款的MacBook Pro上运行代码，甚至声称是在ChatGPT之外复制的代码。

　　前OpenAI研究员Neil Chowdhury表示，o系列模型使用的强化学习算法，可能是问题的根源。

　　首先，必须承认的是，幻觉问题并非是o系列模型独有，而是语言模型的普遍挑战。

　　预训练模型通过最大化训练数据中语句的概率进行学习。然而训练数据可能包含误解、罕见事实或不确定性，这导致模型在生成内容时容易「编造」信息。尽管后训练可以缓解这一问题，但无法完全消除。

　　尽管这些问题是语言模型常见的失败模式，相较于GPT-4o，o系列模型的幻觉问题更为突出。

　　作为推理模型，o系列采用了基于强化学习（Outcome-based RL）训练，专为解决复杂数学问题、编写测试代码而设计。

　　如果训练的奖励函数只关注正确答案，模型在面对无法解决问题时，没有「动力」去承认自己的局限。

　　相反，它可能选择输出「最佳猜测」，以期碰巧正确。而且，这种策略在训练中未受到惩罚，从而加剧了幻觉。

　　o系列模型在训练中，可能因成功使用「代码工具」而获得了奖励。即使在禁用工具的场景中，模型可能会「假想」使用工具来组织推理过程。

　　这种行为可能在某些推理任务中提高准确性，并在训练中被强化，但也导致模型虚构工具使用的场景。

　　o系模型的另一个独特设计是「思维链」（Chain-of-Thought）机制。

　　在生成答案前，模型会通过CoT进行思考，但这一过程对用户不可见，且在后续对话中被丢弃。

　　事实上，它们可能在CoT中生成了看似合理但不准确的回答。比如，因为没有线曾生成一个了虚构的URL。

　　当你追问前一轮回答的细节时，模型只能基于当前上下文「猜测」一个合理的解释。

　　在Ai2科学家Nathan Lambert最新一篇分析长文中，同样印证了这一问题：

　　这让ChatGPT的产品管理面临更大挑战：即便用户未触发搜索开关，模型也会自主联网搜索。

　　比如，Nathan Lambert直接问o3：「你能帮我找到那个长期以来被RL研究人员使用的，关于摩托艇过度优化游戏的gif吗？可能像是波浪破碎器之类的？」

　　多个基准的测试成绩，证明o3非常出色。OpenAI认为o3在许多方面比o1更强大。

　　这意味着有些交互令人惊叹，感觉像是与AI互动的全新方式，但对于一些GPT-4或Claude 3.5早已熟练掌握的普通任务，o3等新推理模型却彻底失败了。

　　这涉及到强化学习中的「过度优化」（over-optimization）问题。

　　过度优化（Over-optimization）是强化学习（RL）领域的经典问题。

　　无论是传统强化学习、催生出ChatGPT的人类反馈强化学习（RLHF），还是当前新型推理模型中出现的情况，都呈现出独特的表现形式和不同影响。

　　「半猎豹」（half-cheetah）模型本该学习奔跑，却用连续侧手翻最大化了前进速度。

　　最初的推理模型主要训练目标是确保数学和代码的正确性，而o3在此基础上新增了工具调用与信息处理能力。

　　利用强化学习，我们还训练了这两款模型去使用工具——不仅教会它们如何使用工具，还让它们学会判断何时该使用工具。

　　它们根据预期结果来部署工具的能力，让它们在开放式任务中更加高效——特别是在涉及视觉推理和多步骤工作流的情况中。

　　这种新的过度优化并不会使模型的结果变差，它只是让模型在语言表达和自我解释方面变得更差。

　　o3的一些奇怪表现让人感觉模型还没完全成熟，比如在编程环境中使用了无效的非ASCII连字符的这个例子。

　　如今模型输出的这些怪异幻觉，本质上就是行为版的「不说人线的行为组件使其比Claude 3.7漏洞百出的代码更有研究价值，或许也相对不易造成实际损害。

　　METR发现，o3是在自主任务中能独立操作最久的模型，但也注意到它有倾向于「篡改」它们的评分。

　　事实上，奖励机制被钻空子（reward hacking）的例子比比皆是！

　　与此同时，考虑到安全问题，大家对AI模型的广泛部署保持警惕，就很有道理。

　　但目前看来，大家还没有看到过于令人担忧的情况，更多的是效率低下和一些混乱的例子。

　　强化学习（RLVR2）时代：过度优化发生，使模型变得超级有效，但也变得更加奇怪。（还有更多尚未发现的副作用）这种过度优化确实是一个需要解决的问题，因为语言模型的可读性是其一个重要优势。

　　Nathan Lambert相信通过更复杂的训练过程，这个问题是可以缓解的。