以下为对论文 Wrong and More Confident: A Field Experiment on Language Models Taking a Graduate Economics Exam 的极其详尽分析。分析覆盖元数据、逐节解读、图表与表格深度解读、估值/成本分析、风险评估、批判性视角与结论性综合。为便于溯源,文中涉及该文献的关键结论与数据点后均附有出处标识 [page::页码],必要时跨页引用使用多个页码标识。
一、元数据与概览(引言与研究概览)
标题、作者、机构与主题
标题明确提出了“Graduage Economics Exam”场景下语言模型的推理与错误来源,聚焦语言模型在分析性微观经济问题上的推理过程与外部干扰(红鲱鱼)的作用。作者为 Piyush Akimitsu,署名单位为 University at Albany, SUNY,研究主题为对语言模型在高阶经济推理测验中的表现、推理过程的外部干扰,以及“源自模型内部推理能力”的准确性来源的分离研究。该信息与 Abstract/Introduction 中的描述一致,属于研究的总体定位与动机。2
核心论点、研究设计与发现要点
核心发现是:添加一个与题意无关的红鲱鱼文本显著降低模型回答正确率,且在给出解释的条件下仍然显著,说明“推理能力”并不能为模型提供对抗干扰的保护;红鲱鱼造成的损害主要来自推理过程的错误,而非简单的表述性错误或呈现层面的瑕疵。3
研究设计采用严格的 2 × 2 within-task 实验:红鲱鱼有无、是否要求解释有无,且所有题目均具备可核验的正确答案与完整解题过程;跨 60 道题、来自 38 个模型的 45,402 次评分结果,且使用两组独立评审(主评+次评)来评定正确性、解释性与推理一致性等指标。研究还区分默认推理类型(Type 1/类型分类)以检验推理模式对红鲱鱼的抵御作用。上述设计与核心结论在 Abstract 与 Design 部分有明确叙述。2 3
研究意义与对学术/实务的隐含观点
作者强调现有基准在某种程度上无法区分“记忆/检索”与“推理构造”的贡献,GERB 提供了一个可验证的、内容保持的扰动工具,以便在相同题干下进行因果对比(within-task controls),从而直接评估“源自推理机制的准确性来源”问题。这种设计思路、及对公开/私有数据、训练数据污染、以及可重复性/可追溯性的重视,构成本文的重要方法论贡献。2
公开性与再现性要素
文中明确披露了 GERB 的设计、评分规则、分析代码、以及完整结果表,同时将测试集(60 道题)在公开渠道上保持私有以防训练污染,允许在签署研究使用协议的前提下对新模型进行复用。这一信息体现了作者在“私有内容+公开设计”的混合性基准设计思路,并以开放性声明与链接支持其可重复性与追溯性。2
二、逐节深度解读(逐章精读与剖析)
2.1 摘要/引言中的关键论点与证据
论点要点
红鲱鱼作为内容无关信息,不改变题干核心答案与解题机制,却显著降低正确率;解释性提示提高总体正确率但并不抵消红鲱鱼的负面影响;推理能力本身并未对抗红鲱鱼效应,且在多种模型类型(有无推理模式、开源/闭源权重)中均观察到类似的损害,Open weights 相较 Closed weights 在每次正确回答上的单位成本具有优势。2 3
方法要点
使用线性概率模型(包含任务固定效应与模型固定效应)来估计红鲱鱼效应 β1、解释请求效应 β2、以及两者交互 β3;结果显示 β1≈−0.123(约 12 个百分点的跌幅)、β2≈+0.062,且 β3≈0.014 不显著,提示“红鲱鱼效应”与“解释请求效应”在总体上近似相加、但解释请求并未完全缓解红鲱鱼带来的损害。3
数据呈现
图 1 直观呈现了模型在控制版本上的表现分布、以及在红鲱鱼版本上的损失分布,显示大多数模型在红鲱鱼版本上准确率下降,且分布范围覆盖从较高到较低的准确性区间。该图直接支撑文本中的主结论。图示与文字相互印证,强化了数据的稳健性。3
结论性要点
红鲱鱼效果广泛存在于绝大多数模型中,且即使在“解释有无”的条件下,红鲱鱼的负面影响仍显著;推理能力并未提供保护作用。这构成本文的核心结论之一,也是 GERB 研究设计的关键证据点。3
2.2 设计与数据(Design and Data)
任务与文本结构
GERB 采用60道 graduate-level 微观经济学问题,涵盖消费选择、劳动供给、垄断、生产与要素需求、外部性、信号与筛选、以及均衡分析等领域,且每道题包含环境、预算约束、成本/收益结构等分段描述。文本长度中位数约 226 词,红鲱鱼中位增加 37 词。题干与参考解的结构性要求使得求解不仅是算术运算,而是要做出“哪种情形成立”的判定、界定是否有界、是否 interior 或 corner 解等。此处强调了“情形判断”在微观经济推理中的重要性,正是红鲱鱼易干扰推理的关键所在。3
2×2 实验设计要素
围绕两因素交叉:红鲱鱼 d ∈ {0,1}(经济无关文本)与解释请求 e ∈ {0,1}(是否要求解释),形成四种版本;每道题的四个版本在同一题干内对比,确保同一正确答案、同一解题机制,从而实现 within-task 控制。任务版本固定效应用于控制同一题的版本差异。研究对象来自 38 模型,且对每个任务版本重复执行五次(五波 waves),temperature=0,确保过程的独立性与可复现性。3 4
标注与评分机制
使用独立评审 xAI Grok 4.3 对每条回答进行四项评分指标(答案正确性、是否给出解释、推理是否等同于参考解、以及结论是否由推理支持)。对解释版本的评分在 22,700 条样本中进行;跨两名评审者(Grok 4.3 与 Gemini 3.1 Pro)对子样本进行复核以检验评审的一致性。主剧本与评审过程的透明性是本文的一个重要方法学亮点。5 19
样本量与可重复性
45,600 条本应回答,但实际评分为45,402条,受重试截断和调用错误等因素影响。研究以“模型-任务-版本”为单位的面板数据形式呈现,便于在模型和题目层面对处理效应进行分解。4 5
关键变量与估计框架
β1 为红鲱鱼对正确答案概率的平均效应(在没有解释的条件下),β2 为解释请求的效应,β3 为两者的差异的差异。并且使用两阶段聚类标准误(按任务和模型聚类)来推断显著性。该设计使研究在任务层面具备强辨识能力,降低了跨任务混淆的风险。4 5
2.3 语言模型在此数据集上的表现(Language Models Fail Two of Every Five Problems)
基线表现
在未加入干扰的控制版本上,模型整体正确率约 0.413(错误率较高的区域分布广泛),甚至最强模型也仅有 0.834 的正确率区间,中位模型约 0.581,最弱模型约 0.274。这显示该数据集对不同模型之间的分布具有较高的辨识度,且整体难度较高,非简单的“高低模型集结”所能解释。3
任务难度分布
对控制版本的任务正确率在 0.987 到 0.003 的极端区间内波动,显示数据集覆盖了从几乎全答对到几乎全错的广泛区间。这也强化了后续对红鲱鱼效应的识别,因为基线难度在不同任务之间存在明显异质性。3
结论性要点
研究指出 GERB 在未扰动版本本身就较难,平均控制版本的准确率约 0.525 的背景下,红鲱鱼造成的额外损失显著,且非个别模型的异常现象所致,而是普遍性现象。这为红鲱鱼作为因果扰动的有效性提供了充分的基础。3
2.4 红鲱鱼效应的量化与稳定性分析
红鲱鱼效应的量化
红鲱鱼对正确答案的概率的平均影响为約 −0.123(约 12.3 个百分点),相当于在整体正确率 0.525 的背景下下降约 23% 的水平。该结论来自对所有 45,402 条评分的聚合回归估计,且对任务与模型进行了两向聚类。这是本文的核心量化结果之一。5
解释请求的作用
解释请求本身提升了正确率(β2 ≈ +0.062),但并不能对抗红鲱鱼的破坏性(β3 接近 0,且不显著)。换言之,请求解释可以在一定程度上提升准确性,但不能抵消红鲱鱼导致的错误推理,两个处理在统计上近似独立地加和作用。此点直接来自 Table 1 的分析描述与文本解释。5
各模型的普遍性与例外
除少数极少数模型外,37/38 模型在红鲱鱼存在时准确率下降,个别极端模型如 Claude Sonnet 4 的下降并不显著地改变总体结论。这表明红鲱鱼效应是“广泛存在”的现象,而非某些弱模型的偶发性问题。5
与“呈现形式”相关的证据
红鲱鱼破坏的是推理正确性,而非呈现形式本身的下降——模型在红鲱鱼版本中仍然给出完整且连贯的推理链,且解释仍然得到输出并被评审认为是有“解释”可见的。这一现象在 Table 2 的图表解读中被直观呈现,强调了“推理被破坏却仍然有推理显示”的矛盾性。5
2.5 “推理能力并无保护作用”的证据与细节(Reasoning Capability Confers No Protection)
研究对不同推理类型的划分
Type 1:默认具备推理能力;Type 2:具备推理能力但在当前调用中未启用;Type 3:没有推理能力。研究发现三类模型之间在红鲱鱼情景下的损害并无显著差异,交互项均不显著,且趋势也未呈现出“越会推理越抗干扰”的格局。此处强调了“仅靠推理能力本身不足以抵御该扰动”的结论。 4
结论性判断
数据不支持“推理越多越抗干扰”的假设,相反,推理能力在面对红鲱鱼时并未提供额外保护。作者明确表示其并非在证明不同推理类型完全相同,而是指出观测区间内推理能力对该扰动无显著缓解效应。此段落的核心结论来自 Table 2 与相关描述。4
2.6 “推理被破坏而呈现保持”的现象(The Reasoning Is Corrupted While the Presentation Is Preserved)
关键发现
红鲱鱼使正确答案的概率显著下降(β1acc ≈ −0.130),且使“推理正确性等同于参考解”的概率下降(β1reas ≈ −0.120),但“给出解释的概率”和“推理与答案之间的逻辑连贯性”在统计上并未显著下降,说明模型仍旧输出解释且解释与推理之间的连贯性看似良好。这表明错误来自推理路径本身的错乱,而非对外观/文本呈现的直接干扰。这也是作者强调需通过独立核对/外部可验证答案来检测错误的核心证据之一。图 2 的呈现直观地支撑了这个结论。 5
解释与呈现的分离
即便模型在红鲱鱼版本中给出“完整且连贯的推理”,但其最终答案却与正确解背离。这一现象直接挑战了将“解释为可信度指标”的做法,提示对推理质量的评估需要基于对照答案与可核验步骤的外部校验。相关的 Figure 2 直观呈现了“正确性、推理正确性、连贯性、解释给出”等四个指标的改变关系。5
2.7 结果的稳健性与异质性(Robustness)
稳健性结论
红鲱鱼效应在多种设定下保持稳定:β1 的范围在 0.10–0.21 之间,且在 1% 显著性水平下保持稳健。无论固定效应设置、样本子集、评分标准( judge 评分 vs 规则评分)、聚类方式(单向/双向聚类)等改变,效应方向与显著性保持一致。野生聚类自放回法(wild bootstrap)也给出 p < 0.001 的结果,进一步证明此效应非偶然。7 8
子样本与对比的健壮性
当分解到不同评分路径(如 judge 评分 vs 规则评分)时,红鲱鱼效应在两组中都存在,且在规则评分情形下效应甚至更大(在某些子样本中达到约 0.15),这一点在 Supplement S13 中的分析中亦有强调。该点有助于缓解对评审偏差的担忧,但也提示规则评分可能放大了某些误差来源的影响,需要在解读时加以注意。23 19
结论性要点
综上,红鲱鱼效应具有较强的鲁棒性,且其方向与显著性在多种设定下保持稳定,这为其因果解释提供了较强的证据基础。7
2.8 开放权重与成本(Open Weights Cost Less per Correct Answer)
成本对比结论
开放权重(open weights)与闭源权重(closed weights)在准确性方面并无显著差异,但开放权重在单位成本上通常更具优势,开放权重组在成本/正确率上达到更低的成本水平。作者强调,这一成本优势更多源于市场结构与权重可获取性,而非能力提升本身。在开放权重是否更耐红鲱鱼方面,结果并不稳健地显示出显著差异,因此不能将开放权重视为对红鲱鱼的有效缓解工具。7 8
路径与证据
文中对每个模型的权重开放性与成本进行对比,并指出开放/闭源之间并非随机分组,因此成本优势更多地反映市场格局而非模型内在差异。这一分析增强了对成本-效益权衡在实际部署中的理解。8
结论性要点
开放权重并未显著提升对红鲱鱼的抗干扰能力,但在成本效率方面具有吸引力,这对实际部署的性价比分析有重要意义。8
三、图表与表格深度解读(图表深度解读)
图 1(The 38 models, ranked by accuracy without the red herring; The 60 tasks, ranked by accuracy without the red herring)
描述
左图按模型在控制版本(无红鲱鱼)下的准确率对模型进行排序;右图按题目在控制版本下的准确率进行排序。绿点代表控制版本,红点代表红鲱鱼版本,灰线段表示两者之间的下降幅度。结果显示,控制版本下的准确率分布广泛且没有显著天花板效应,且最强模型的准确率虽高但仍未达到极端高值。红鲱鱼版本则显示显著的下降趋势,影响范围覆盖大多数模型。图像直观呈现了“非极端模型也会被红鲱鱼击垮”的现象。3
与文本的联系
图1 为“语言模型Fail Two of Every Five”的直观证据,与段落中的量化结果β1等一致,支持“红鲱鱼显著降低正确率”的核心结论。3
溯源的图片
4
图 2(The red-herring corrupts the reasoning, not the presentation; four indicators)
描述
四个指标(Accuracy、Reasoning correct、Coherence、Explanation given)在红鲱鱼和控制版本下的分布对比,绿色代表控制、红色代表红鲱鱼。红鲱鱼显著降低了准确率与推理正确性(β1acc、β1reas 均显著负向),而解释给出率与推理的连贯性并未显著下降。这强调了“呈现形式未受显著影响,推理质量已被破坏”的现象。图中右端还给出了每个指标的平均效应及 95% 置信区间。该图直观支持文本中关于“推理被破坏但呈现仍然完整”的论点。图示帮助读者理解红鲱鱼对推理过程的具体影响维度。5
与文本的联系
该图直接支撑“推理被污染而呈现保留”的关键论断,强调外部评估应聚焦于可核验的机制与答案,而不仅仅依赖表面输出或自我解释的存在。图中同时显示了解释给出率并没有显著改善对抗红鲱鱼的效果的事实。图与 Table 1/Table 2 的结果相互印证。图像路径同上页所附图片。
溯源的图片
5
表 1(Treatment effects on the probability of a correct answer)
描述
四栏对应的回归表,逐步加入红鲱鱼、解释请求、任务固定效应以及交互项。 headline 对应的红鲱鱼平均效应为 −0.123(SE=0.027),基于 45,402 条样本。该表明确了主效应与控制变量在相互独立前提下的估计数值,是论文核心的量化证据之一。5
与文本的联系
表中的数值直接构成论文在“12 百分点红鲱鱼效应”和“解释请求效应”的定量支撑,且通过列间比较展示了交互项非显著性(β3 ≈ 0,p 值不显著)。这与文中对 additive 与 non-additive 的描述一致。5
溯源的图片
图 2(同上:四项指标的逐项效应图)
描述
如前所述的四个指标在红鲱鱼版本下的条件均值与差值分布,右侧列出每个指标的效应估计(β1acc、β1reas、β1expl、βcoh)及其置信区间。核心结论是红鲱鱼显著降低了正确率与推理正确性,其他两个指标(是否给出解释、推理是否与输出一致)未呈现显著变化。这进一步巩固了“红鲱鱼破坏推理但不削弱输出呈现”的核心发现。图像同上页引用。
溯源的图片
5
表 6(Cost per correct answer by weight availability)
描述
对比开放权重与闭源权重在成本方面的差异,成本以每次正确回答的花费来计量。结果显示,在控制准确度达到某一阈值以上时,开放权重组的成本通常低于闭源组(例如在“Above 0.5 control accuracy”时,成本分别为 $0.049(闭源)与 $0.015(开放)),表明开放权重在成本效率方面具有优势,但对红鲱鱼效应的显著性影响并不显著。这一总结强调市场结构特征对成本的决定作用,而非单纯的技术性能差异。表格说明也指出开放权重并未显著提升对红鲱鱼的抵御能力。8
溯源的图片
22
补充材料中的关键图/表
S1/S2/S3/S4/S5 等
S1:Summary Statistics,提供四个条件下的准确率与四个二级指标的汇总;S2:实验流水线图(Figure S1)展示了 2×2 设计的全流程;S3–S7:对模型行为、API 行为、第二轮评分、开放权重等的更细致证据与鲁棒性分析。这些补充材料为主文的外部有效性与可重复性提供支撑,尤其在方法学细节层面回答了“如何实现跨模型、跨任务的一致性测量”的问题。11 12 13 14 16 17
S11/S12(逐模型推理行为分解与红鲱鱼效应的逐模型估计)
Table S6 给出全部 42 模型的逐模型推理行为类型与权重可用性标签;Figure S2 则给出逐模型的红鲱鱼效应点估计及置信区间,显示 37/38 模型在红鲱鱼版本的正确率下降。S12 的叙述强调不同模型的红鲱鱼效应分布,提供了对“模型内部差异”的可视化理解。21 22
结论性要点
图表与表格的综合显示了红鲱鱼效应在不同维度上的稳健性,以及开放权重与成本维度对部署决策的影响。多图多表共同支持了论文的核心命题:红鲱鱼会显著降低正确率且不能被解释性输出所抵消,且推理流程被扰动并非表述层面的不足所致。3 5 8
四、估值分析与成本效益解读
研究的“估值”并非传统金融估值,而是对成本-效益的比较与策略性考量:
成本维度(成本/正确率)
研究在 Table 6 与相关鲁棒性分析中呈现了成本与正确率之间的权衡:开放权重在单位成本上更具优势,但对红鲱鱼的抗扰动能力并未显著提升。这提示在部署场景中,若关注成本效率且扰动风险较高,开放权重是更具吸引力的选项,但不能把开放权重等同于“更可靠的推理能力”或对推理失败的容错性提升。此处的“估值”更多指企业在模型部署时对成本与风险的权衡策略。相关证据来自 8 与 7 的描述。
价格/市场结构对结果的影响
论文明确指出开放权重与闭源权重之间的成本差异并非随机分组,而是受市场供给、规模、以及权重可获得性等因素影响,因此成本差异更多是市场结构的反映,而非对比模型能力的直接因果结论。这为实践中的采购与供应商比较提供了重要的上下文。证据来自 S14 与相关章节的讨论。24
结论性要点
论文的成本/可用性分析揭示了“成本效率”在实际部署中的重要性,以及开放权重并不天然提高对抗红鲱鱼的能力的事实。对于企业在选择模型与治理成本时的决策提供了实证依据,但不应把成本优势误读为对推理鲁棒性的提升。8 24
五、风险因素评估
研究识别的核心风险
数据污染与基准污染:公开基准往往容易受训练数据污染的影响,GERB 通过私有测试集和内容保持来规避训练时记忆影响的干扰,但仍需警惕未来模型更新对结果的潜在影响。相关讨论与文献引用在 Related Work 与 Limitations 部分有系统展开。9
题干保真性与外部可重复性:GERB 的“私有题干、公开设计”旨在提升可重复性,但题干本身的保密性也可能影响其他研究者对结果的复现与泛化能力。Supplement 中的 S3–S7 提供了对 API 行为、路由、分布式执行等技术性细节的披露与验证,增加了方法的透明度。相关论述散见于 S7、S8 与 S9 部分。9 13 16
推理通道的可重复性:作者强调温度设定、隐藏推理通道、以及不同模型在默认模式下的行为差异,这些因素对结果有重要影响,且 OpenRouter 的路由及输出上限规则可能在不同时间点产生差异。文章对这些变量进行了多项鲁棒性检验以降低偏误风险,但任何单一服务端实现的变动都可能改变结果。相关讨论集中在 S3–S7 部分。13 15
评分者偏差与再评分:两名评审者对解释性输出的评分存在一定一致性(97.6% 的一致性),且通过二次评审来验证结论的稳健性。此处对评分者偏误进行了严谨控制,但仍需注意评分系统的主观性与可重复性。该点见 S9–S11 的相关描述。19 20
缓解策略/应对
采用独立评审、双评审、并对二阶段评分结果进行一致性检验、对比 judge 与 rule-based 评分结果,以及对不同聚类方式的稳健性检验。Supplement 与主文对鲁棒性测试的覆盖显示,研究人员对潜在风险进行了系统性的侦测与处理。19 23
结论性要点
论文明确承认并讨论了多项局限性(领域局限、任务可核验性要求、模型是通过提供商网关使用的事实、以及 API 变动带来的 drift),并通过补充材料提供了验证材料与再现路径。这些说明有助于读者对结论的边界进行合理评估。9 17
六、批判性视角与细微差别(审慎视角)
潜在偏见与局限
数据域局限性: GERB 仅覆盖分析性微观经济学题目,是否在法学、医学、编程等领域存在类似的红鲱鱼效应尚未证实。本文在 Limitations 中明确指出这一点,这对于跨领域推广需谨慎推断。9
评审与判定的主观性:尽管采用了两名评审并对二次评审做了检验,判定的“解释正确性/推理等同于参考解”等判定仍可能受评分体系的影响,尤其是在“解释未被要求但出现”的情况下。补充材料 S9–S11 提供了对该问题的多角度检验,但仍需对更广泛的判定框架进行进一步验证。19 20
路由与输出上限的干扰:OpenRouter 的路由策略对不同模型的输出长度有差异,若未严格控制,可能使某些红鲱鱼版本的难度被系统性“中断”或“截断”,从而影响效应估计的偏误。作者在 S4/S4 的 OpenRouter 路由策略中对此进行了明确说明与规避。此点提示未来研究在跨平台/跨网关环境中对一致性要求更高。14 15
需要关注的细微之处
红鲱鱼效应的规模在不同任务强度上的变动:文本指出 hardest quartile 的样本对红鲱鱼的效应观察更弱(或对“可操作样本”的界定不同),这提醒在解读平均效应时应关注任务难度对效应的调制作用。相关分析见 Table 3/4、Table 5 的 quartile 分组结果。6 7
开放权重的成本效应与模型能力的相关解读:尽管开放权重降低单位成本,但对红鲱鱼的抵御能力并未得到增强,导致在成本-效益分析中,成本优势未必转化为鲁棒性提升。这一结论对企业策略中的“成本驱动型采购”具有现实意义,但也意味着“开放权重=更强推理能力”的直观假设需被修正。相关章节见 S14 与 Table 6 的描述。8 22
总体评估
论文在方法设计、数据处理、与鲁棒性分析方面具备较高的系统性与透明性,但对“推理能力是否能长期对抗复杂扰动”的问题仍需要更多跨任务、跨领域的证据来确认。作者对潜在偏误的认真披露和对补充材料的充分提供,是提升研究可信度的积极信号。结论性判断仍应结合更多任务域的验证来加强外部有效性。
七、结论性综合(结论性综合与要点重申)
核心结论
红鲱鱼效应在 GERB 的 60 道题、38 模型的全样本中显著降低正确性,平均下降约 12 百分点,且这一损害在大多数模型中都存在,推理能力本身并未提供对抗该扰动的保护作用。这一点是论文最核心的发现,并且通过多种鲁棒性检验得到一致支持。3 7
机制洞见与政策性含义
红鲱鱼破坏的是“推理机制的正确性”而非“呈现形式的正确性”;模型输出看似连贯且有解释,但其推理链的内部逻辑已被扰乱。这意味着在实际应用中,靠对模型输出做事后审查(例如仅凭输出是否解释、或是否与自我推理一致)难以发现错误,需要外部可核验的解题结果或独立solver来对照验证。这一发现对AI 安全与可部署性具有重要启示。相关论断在 Introduction、Table 2 以及 Figure 2 的描述中得到一致支撑。2 5
对比与策略性建议
开放权重带来成本优势,但对红鲱鱼的抵御能力并无显著提升,因此在部署中应将“成本效率”与“推理鲁棒性”分离对待。若目标是提高模型的可靠性,应重点关注外部校验、独立解题机制、以及对推理过程的可验证性设计,而非仅依赖于解释文本的输出或默认推理行为本身的提升。以上观点在 Table 6 与 OpenRouter 路由及 S8–S9 讨论中得到支持。8 16 17
最终立场
作者坚持 GERB 是一个“源自推理机制的准确性”测量工具,通过在内容保持的前提下引入扰动来揭示推理质量的真实水平;其结论明确:当前的基准分数并不等同于模型真正的推理能力,需通过独立核验与外部对照来监测与纠正潜在的错误推断。这一总体立场在结论段落和全书的多处总结中反复强调。8
附:关键图表与补充材料的便携路径摘要
Figure 1(图像:论文主图,页码对应 3 ,图像路径为 images/c62c285e5eaea895c6b12dff4158d4527ac54b5209de476ac828724007a982f4.jpg?page=3)3
Figure 2(图像:主图解读推理与呈现,页码 5 ,图像路径 images/af2e7f8fd0d73b7d7dd2174da72ef4f64c568e8d156556e4401dedc3fb35fb6a.jpg?page=4)5
Table 1、Table 2(主文中的四列回归表与相关说明,页码 5 )5
Table 3–Table 5、Figure 3 的 quartile 分组与比较(页码 7 与 7 ,相关图表在 Supplement 的图表区域)7
Table 6(成本对比,页码 8 )8
Supplement S1–S7 各表格/图像(S1:Summary Statistics,S2:Pipeline 等,S3–S7:模型行为与 API 行为等,页码分布在 11 –17 区间)11 13 16
Table S3/S4/S5/S6/S7(逐模型与鲁棒性、二次评分、开放权重等,分别对照在 18 –23 区间)18 19 20 21 23
Figure S2(逐模型红鲱鱼效应分布,页码 22 )22
总体而言,该论文以严格的实验设计、全面的鲁棒性检验和透明的补充材料提供了对“红鲱鱼扰动”如何影响高阶经济推理任务的清晰证据。其核心贡献不仅在于揭示一个具体的干扰效应,更在于通过 GERB 这一工具推进对“基准分数背后推理机制”的区分性理解,以及对模型部署成本与鲁棒性取舍的实际指引。对于未来工作,建议在更多领域(如法学、医学、编码等)重复这类“内容保持但扰动推理”的实验,以检验该效应的跨领域外部有效性,并进一步探索结合独立解题器/ verifier 的鲁棒性提升路径。