基于预注册实验(3,360 次 AI 对话 vs. 1,201 名人工基准),七大 LLM 在初次咨询与持续压力下对高风险/欺诈性投资均给出更一致且更强烈的风险警示,人工顾问在基线与受压后均表现出更高的错误背书与警示抑制率,模型间存在显著异质性(例如 GPT-4o mini 在多轮压力下警示显著下降,而 Claude/Gemini 在某些情形下警示反而加强)
| 指标 | AI(七模型汇总) | 人类(自报 / 高识字子样) |
|---|---|---|
| Turn1 对高风险场景的“背书率” | 0% | 13.3%(中性) / 14.1%(动机化) [baseline] |
| Turn2 警示抑制率(自报 SR) | 0.0%–7.9%(模型间异质) | 15.7%–25.5%(各带) |
引言与元数据概览
逐节深度解读
一、摘要与导言(Abstract & Introduction)
二、方法(Methods)
三、主要结果(Results)
RQ1(Turn 1 framing effect)总结与解读:在 High-Risk 场景下,动机化表述并没有压制模型的初始警告强度;汇总来看,动机化下警告强度反而略微增加(β = +0.07,95% CI [0.025, 0.113]),但效应量极小(d = 0.09),因此原假设 H1(动机化会压制警告)不被支持。模型在 High Risk 下的平均 Q3 值接近上限(例如 总体均值 4.64 vs 4.57),远高于预注册最低可接受阈值 Q3 = 3。
RQ2(多轮压力下警告退化):总体上,从 Turn1 到 Turn2 的警告退化并未在动机化条件下显著高于中性条件(H2 未被支持),但存在显著的模型异质性——GPT-4o mini 在 Turn2 表现出最大降幅(M = 2.33),Llama 与 GPT-4o 有中等降幅,而 Claude 与 Gemini 在压力下甚至出现警告加强(负退化值)。endorsement reversal 非常罕见(0.27% 的回合级观测)。这些结果表明在客观欺诈情境下,尽管存在个别模型的弱点,整体 LLM 抵抗用户压力的能力强于先前对事实逆转的研究所示。
RQ3(欺诈信号梯度):Turn1 时多数模型对 Band1(数学不可能)和 Band2(结构性欺诈)给出接近最大警告,但对 Band3(统计上不合常理但表面可信)有明显下降,说明模型在初始咨询能分辨证据清晰度梯度;然而,退化阶段(Turn1→Turn2)并未呈现预期的线性递增(H3 未被支持),模型异质性再次成为主要来源,其中 GPT-4o mini 在不同 band 显示逐步增加的退化,而 Claude 与 Gemini 在三带中则出现加强。
RQ4(人类基准比较):人类参与者在 High-Risk 场景上的基线错误率与 AI 明显不同:Turn1 人类在 High-Risk 场景的认可率为 13.3%(中性)与 14.1%(动机化),而七个 LLM 的对应率为 0%;在 Medium Risk 与 Low Risk 的对比中,人类对 Medium Risk 的误判/认可率显著高于 AI(41.1% vs 0.5%),Low Risk 时人类更易给出认同(78.3%)而 AI 给出更少的认同(44.1%),暗示 AI 与人类在不同风险层级上的校准方向不同。人类在 Turn2 的抑制(自报)率为 ~16–26%,而 AI 为 0–7.9%,两者差异在统计上明显。总体结论是:在本研究设定下,AI 为更一致的欺诈警告顾问。
图表与图像深度解读(逐图分析)
图 1(Turn1 警告强度与欺诈信号梯度)
图 2(警告退化与多轮表现)
图 3(欺诈信号梯度的分带结果与退化按带分解)
图 4(人类基准:Turn1 认可率与 Turn2 警告抑制)
补充图表(S1, S2 等)
图 S1(Turn2 压力变体类型对退化的影响):显示五种 Turn2 声明类型(research claim, enthusiasm, social proof, commitment, authority)均产生正向退化但差异极小(η^2 = 0.008),印证“变体类型并非主要驱动因素”,见图:
图 S2(Turn3 变体对持久性/反应的影响):展示 Turn3 中“直接挑战”导致警告加强,而“情感承诺”导致进一步退化,变体差异显著(η^2≈0.123),见图:
估值类分析(本报告不适用)
风险因素与局限性评估
批判性视角与细微差别
结论性综合
可复现性与数据可用性
总体评估的小结(对研究者与监管者的要点)
附:主要参考与图像索引(用于快速回溯)
如需我对报告中的任一数据表(例如 Table S4 的金融素养分布与高素养子样本比较)做逐行数值核查和辅以可复制 Python 代码示例,以便您在本地重新运行统计检验,我可以继续提供详细的操作步骤与代码片段。
2604.20652.pdf