本文提出FREE-MAD,一种无需共识的多智能体辩论框架,通过反从众辩论机制和基于全程辩论轨迹的评分决策机制,减少错误信息传播与多数投票偏差。实验覆盖8个数学、逻辑和知识推理基准,结果表明该方法在推理准确率、可扩展性及通信攻击鲁棒性方面优于基线,并以单轮辩论降低Token消耗。
| 数据集 | FREE-MAD-N | FREE-MAD-C | Baseline 1 | Baseline 2 |
|---|---|---|---|---|
| GSM-Level4 | 73.75% | 65.00% | 66.25% | 60.00% |
| GSM-Level6 | 70.00% | 61.25% | 63.75% | 52.50% |
| AIME2024 | 53.33% | 43.33% | 26.67% | 33.33% |
| AIME2025 | 43.33% | 36.67% | 26.67% | 26.67% |
| MATH500 | 65.00% | 66.25% | 62.50% | 65.00% |
| Logical Fallacies | 70.00% | 72.50% | 67.50% | 66.25% |
| AICrypto | 75.00% | 75.00% | 71.25% | 63.75% |
| StrategyQA | 65.00% | 71.25% | 61.25% | 65.00% |
| 方案 | GSM-Level4,R=1 | MATH500,R=1 | Logical Fallacies,R=1 | AICrypto,R=1 |
|---|---|---|---|---|
| FREE-MAD-N | 67.50% | 65.00% | 71.25% | 80.00% |
| FREE-MAD-C | 72.50% | 65.00% | 73.75% | 76.25% |
| Baseline 1 | 47.50% | 42.50% | 48.75% | 66.25% |
| Baseline 2 | 41.25% | 48.75% | 60.00% | 52.50% |
标题:《FREE-MAD: Consensus-Free Multi-Agent Debate》
作者:Yu Cui、Hang Fu、Haibin Zhang、Licheng Wang、Cong Zuo;作者分别来自北京理工大学、清华大学长三角研究院及嘉兴市人工智能与网络韧性重点实验室。
发布机构与日期:正文提供了作者单位和邮箱,但未明确给出会议、期刊或正式发布日期;参考文献显示论文使用了大量2024—2025年的相关研究,因此应将其视为一篇较新的研究型预印本或会议投稿稿件,而不能据此认定具体发表时间。
主题:大语言模型多智能体辩论(Multi-Agent Debate,MAD)的推理准确性、通信成本、抗攻击能力与公平性。
报告的核心主张是:传统MAD依赖多轮交流、最终共识以及多数投票,但这种设计可能造成代价高昂、错误传播、从众效应和少数正确意见被淹没等问题。作者提出FREE-MAD,通过“共识无关”的辩论机制、反从众提示以及基于完整辩论轨迹的评分决策,试图在只进行一轮辩论的情况下提升准确率、降低token消耗,并增强通信攻击下的鲁棒性。
该论文没有传统金融研究中的“买入/卖出评级”或股票目标价,其“结论性判断”是方法层面的正面评价:FREE-MAD被宣称在八个基准上优于既有协议,并在准确性、扩展性和安全性方面表现更好,但论文同时承认其仍然比单模型推理消耗更多token,且实验覆盖的模型、方案和攻击类型仍有限。
传统MAD通常让多个LLM先独立回答,再相互阅读并进行若干轮修正,最后通过多数投票或类似聚合方式确定答案。作者认为,LLM具有明显的“从众”倾向,即更容易接受多数代理支持的答案,而不是独立检查推理过程。
这会导致三类问题:
作者特别强调,传统方法往往只使用最终轮的答案进行决策,而忽略了前面各轮中已经出现的答案。这样做既可能丢失早期的正确判断,也可能让后期的错误收敛获得过大权重。
图1构造了一个三代理选择题例子。真实答案为“C”,初始阶段代理1回答错误的“B”,代理2和代理3回答正确的“C”。经过辩论后,三个样本分别体现三种情况:
这个图形的价值在于说明:多数投票并不是单纯的“准确率提升器”。在第一种情形中,辩论把正确少数意见转化为错误共识;在第三种情形中,系统可能随机选择答案或直接取第一个答案,决策结果缺乏稳定性和公平性。 因此,作者提出不应仅依据最后一轮的频数,而应观察答案在整个推理过程中的变化。
作者把MAD形式化为两个阶段:
作者进一步用概率模型描述代理输出,试图将两个因素分开:
当(\beta>0)时,提示会强化对多数意见的趋同;当(\beta<0)时,提示鼓励批判性思考、降低答案与多数意见的对齐程度。这个建模的主要意义并不是给出可直接估计的经济学式参数,而是把“独立推理”和“同伴影响”明确区分,为反从众机制提供理论解释。
FREE-MAD在传统“其他代理的回答如下”提示后,加入基于Chain-of-Thought的批判性提示。代理被要求:
这种设计并非完全排斥意见变化,而是把“改变答案”从“服从多数”转化为“经过错误分析后理性修正”。作者认为,详细推理链可以帮助代理识别多数答案背后的漏洞,从而降低错误答案在群体中的扩散。
FREE-MAD维护一个答案矩阵A,记录每个代理在每轮的答案,同时维护评分字典S。评分机制的基本逻辑是:
这里隐含了一个关键假设:代理主动放弃的答案更可能错误,而新采用的答案更可能正确。这个假设有一定直觉合理性,但并不总成立,例如代理可能因为后期受到错误信息影响而放弃正确答案。论文通过后期折扣因子f部分缓解该问题,但没有证明该评分逻辑在所有任务上都可靠。
作者没有把“从众”或“反从众”绝对化,而是设计了两个子方案:
作者认为,复杂推理和存在明显错误传播风险的任务适合反从众;但在简单任务或代理知识不足时,过度反从众可能导致代理固执、不愿采纳正确意见,反而降低准确率。
表1被用于比较FREE-MAD与既有MAD方法,重点维度包括准确性、扩展性、安全性和公平性。 但在用户提供的正文中,表1的具体单元格内容没有被完整呈现,因此只能依据相邻文字解读其结论:FREE-MAD的主要差异在于不要求共识、利用所有轮次答案、支持更少辩论轮次,并采用外部确定性的评分协议。
图2中,初始答案为“B、C、C”,即正确答案“C”一开始占多数;辩论后答案变为“B、B、C”,正确答案反而成为少数。但评分结果显示“B”为35.83分,“C”为36.67分,因此最终仍选择“C”。
这张图直接展示了FREE-MAD与多数投票的核心区别:系统不把最终轮的票数视为正确性的充分证据,而将早期答案、意见转移、意见维持等轨迹信息一并纳入。因此,即使最终轮的正确答案是少数,也有机会通过累积得分胜出。
表2列出四种变体,用于区分两个核心模块的贡献:辩论阶段的从众/反从众机制,以及评分型决策机制。 其研究目的在于判断性能提升究竟来自提示词变化,还是来自跨轮次评分。正文指出,消融实验表明评分决策机制具有较优表现,但提供的摘录没有给出表2的具体准确率数值,因此无法进一步计算各模块的边际贡献。
图3展示八个数据集、四种方案在单轮辩论(R=1)下的准确率。主要数据如下:
数据呈现出三个重要趋势:
第一,FREE-MAD-N在数学任务,尤其是AIME2024和AIME2025上优势明显,说明反从众机制有助于复杂计算和逻辑链条的独立核验。第二,MATH500上提升很小,作者解释为较弱模型在压制从众后可能变得僵化,无法及时切换到正确思路。第三,在Logical Fallacies、AICrypto和StrategyQA等逻辑、知识型任务中,FREE-MAD-C往往优于FREE-MAD-N,说明当模型知识不足时,适度借鉴其他代理可能比盲目坚持独立意见更有效。
作者报告FREE-MAD相对基线平均提升约13.0%和16.5%,但摘录未明确说明这两个提升分别对应哪些比较对象或统计口径,因此该结论应理解为作者的总体实验汇总,而不是可由图中直接复算的单一指标。
图4将四个数据集分成R=1和R=2两组。R=1时,FREE-MAD-N在GSM-Level4、MATH500、Logical Fallacies和AICrypto上的准确率分别为67.50%、65.00%、71.25%和80.00%;FREE-MAD-C分别为72.50%、65.00%、73.75%和76.25%。两种基线多数明显更低,例如Baseline 1在四个任务上为47.50%、42.50%、48.75%和66.25%。
R=2时,FREE-MAD-N分别为86.25%、73.75%、81.25%和82.50%,FREE-MAD-C分别为75.00%、65.00%、80.00%和82.50%;相比之下,基线在Logical Fallacies和AICrypto上下降至20%左右甚至17.50%。
作者的解释是,攻击导致部分代理无法接收其他人的答案,但FREE-MAD的评分仍可利用已有上下文,且不会被被攻击代理的缺席完全破坏。需要注意的是,该实验采用50%的代理被攻击比例,并主要模拟通信中断,而不是全面的恶意内容注入,因此不能直接等同于对所有prompt injection或恶意推理攻击的防御能力。
图5横轴为准确率,纵轴为token消耗,分别标示R=1和R=2下的FREE-MAD-N、FREE-MAD-C及两个基线。总体趋势是,R=2通常增加token消耗,同时可能带来准确率提升;但FREE-MAD在R=1时能够达到接近甚至超过部分基线R=2的准确率,因此具有“以一轮达到多轮效果”的扩展性。
论文引用的传统MAD token复杂度为 (NR^2V+N^2RV+NRq),其中N是代理数量、R是轮数、V是单代理输出token成本、q是问题相关成本。该式意味着增加轮数不仅增加代理自身生成成本,也增加代理之间的交互成本;FREE-MAD减少轮数,因而理论上能显著节省通信和推理资源。
实验覆盖八个数据集:GSM-Level4、GSM-Level6、AIME2024、AIME2025、MATH500、StrategyQA、MMLU Logical Fallacies及AICrypto,涵盖数学、逻辑、知识和密码学推理。
代理配置方面,AIME任务使用N=3,组合Qwen1.5-7B-Chat与DeepSeek-V3;其他数据集使用N=4,主要组合Qwen1.5-7B-Chat和Qwen2.5-72B-Instruct。 这种设置体现了异构代理协作,但模型组合并不完全统一,可能影响跨数据集比较。除AIME完整数据集外,其他任务只抽取80个样本;作者使用默认温度,并选择多次运行中“趋向中间”的结果,以降低随机性,但这种报告方式可能不如均值、标准差和置信区间透明。
安全方面,作者认为评分机制在LLM推理之外执行,属于确定性协议,因此不会直接受到LLM幻觉影响;通信攻击中,退出代理只会产生有限评分影响。 公平方面,FREE-MAD不要求代理承担不同等级或固定角色,所有代理平等参与,因而避免角色化辩论可能带来的隐性偏见。
兼容性方面,FREE-MAD可以适配稀疏通信结构,也可以和多数投票、LLM-as-a-Judge等后续决策机制共存,而不是必须完全替换现有MAD系统。 不过,“可以兼容”并不代表这些组合一定能保持论文所报告的准确率,具体组合效果仍需进一步实验。
附录中的案例实际上显示出反从众提示并不总能保证理性。GSM-Level4案例中,模型在年龄差问题上给出了“94858”和“248911”等互相矛盾的答案,且反从众分析中对题意和时间关系的解释并不稳定。 GSM-Level6案例中,模型把“5700191 times more”与新增分数、总分之间的关系混淆,最终出现不同数量级的答案。 AICrypto案例中,反从众回答错误地声称“ZRUG”也应解码成“ENCRYPTED”,说明模型即使被要求独立检查,也可能产生新的自信错误。
MATH500案例还出现了明显的推理表述混乱:196应分解为 (2^2\times7^2),正因数个数为9,但文本中关于“排除196”“重复计数”的解释不严谨。 这些样例说明,FREE-MAD的评分机制能够利用轨迹,但轨迹本身仍由可能犯错的LLM生成;“发生意见变化”并不必然意味着向正确答案变化。
FREE-MAD的最大创新是把MAD从“推动代理达成一致”转变为“综合评价整个推理轨迹”。这种设计在概念上有三项优势:减少后期从众造成的错误收敛;保留早期正确意见;在单轮条件下通过评分机制获得多轮信息的一部分价值。
但其关键假设也需要审慎看待:意见改变未必代表纠错,意见坚持也未必代表正确;反从众可能减少错误传播,也可能造成模型固执。实验结果已经反映这种双面性:FREE-MAD-N更适合复杂数学任务,而FREE-MAD-C在知识和逻辑任务中有时更好。
总体而言,论文通过图1说明了传统多数投票的结构性缺陷,通过图2展示了少数正确答案仍可胜出的机制,通过图3—图5证明了准确率、token成本和攻击鲁棒性的改进方向。作者的总体立场是积极支持FREE-MAD,但并未声称其已经解决所有部署问题;论文明确承认,相比单模型推理,其token开销仍然较高,且更广泛的模型、基准和攻击评估尚未完成。 因此,较为稳妥的结论是:FREE-MAD提出了一个有吸引力的、低轮次和反共识导向的MAD框架,实验证据支持其在所选任务上的有效性,但其泛化能力、评分规则的理论充分性以及面对主动恶意内容攻击时的安全性,仍需要更大规模和更严格的验证。
2026_ACL_Free_MAD.pdf