本论文系统测试多家主流大语言模型(GPT、Claude、Gemini、Llama)在认知心理学与实验经济学设计的问题上的表现,发现:对于偏好类问题(risk/time preferences),模型越先进/越大越倾向于“人类式”的非理性回答;而对于信念类问题(概率/预测),模型越先进/越大越趋近于理性答案;此外,通过“理性投资者”角色提示可在小幅上提升理性回答,但更详细的指令或知识补充有时反而削弱理性表现 .
| 变量 (交互项) | GPT (coef) | Claude (coef) | Gemini (coef) |
|---|---|---|---|
| VS × large | 0.0089 (ns) | 0.0173 ** | 0.0225 ** |
| Corr(Returns, VS) × large | 0.0260 *** | 0.0082 *** | 0.0099 *** |
元数据与概览(引言与报告概览)
逐节深度解读
图表与数据逐项解读(关键表格与图形) (注:下述每个图表/图像均以报告内对应文件为来源并在文中展示)
Fig.1(示例 prompt,Question 1 的 prompt 格式)——目的与信息结构说明:Fig.1 展示了如何在一个 API 调用内实现 within-subject 设计(将多情景合并、并强制模型“把各情景视为相互独立”以模仿人类被试),并以 JSON 格式标准化输出以便后续定量分类(rational / human-like / other)。此 prompt 设计保证可比较性与可测量性。 ,
Fig.2(四个 benchmark 模型在 16 个问题上的回答比例条形图)——描述與解讀:该图将 16 个问题分为偏好(左)與信念(右)两面板,并标示每个问题中三类回应的比例(rational 蓝 / human-like 红 / other 灰)。图示显示:对偏好题,多数先进大模型产生“human-like”答案的比例较高(例如 Gemini 的偏好题人类化比例尤高);对信念题,绝大多数先进大模型生成“rational”答案(例如 Gemini、GPT-4 在多题上理性占优)。作者用 100 次迭代(每题每模型 100 次,temperature = 0.5)来获取比例并做二项检验。 ,
Table 1(问题清单)——功能性说明:列明 16 道题的来源和对应的偏差类型(Panel A 偏好 6 题,Panel B 信念 10 题),并指出前三项(prospect theory 的三个方面)、sample size neglect、overconfidence 等被作者视为金融市场“第一阶”重要偏差。该表为后续分类与统计检验提供映射(问题编号→偏差类型→评价标准)。
Table 2(模型特征表)——要点与限制:表格列示每个模型的发布年、参数量(部分为估算)、训练 tokens 数、context window、MMLU 分数与是否支持视觉输入。重要信息包括:Llama 3 的训练 token 报称显著增多(15T vs Llama2 的 1.8T),不同模型在架构(mixture-of-experts)与 RLHF/Constitutional AI 的采用上存在差别,这些差异是作者在后文推测行为差异原因时引用的核心因素。注意该表中若干参数为非官方估计(表注说明)。
Table 3(四个先进大规模模型的定量结果)——解读:面向偏好题,Gemini 在 6 个偏好题中 5 题以 human-like 为主,Claude/ GPT/ Llama 则各有不同分布;面向信念题,Gemini 在 10 题全部以 rational 占优,GPT-4 与 Claude 在多数信念题也以 rational 占优,Llama 在若干信念题上表现更“human-like”。作者为每个题目做二项检验并报告 p 值以判定比例是否显著超过 50%。这提供了“偏好 vs 信念”分叉现象的第一手证据。
Table 4(家族效应的 probit 回归)——解释:表中边际效应显示,以 GPT 为基线,Gemini 在偏好题上比 GPT 少 22.9% 可能产出 rational 答案且多 16.7% 可能产出 human-like 答案(显著),而 Llama 在信念题上比 GPT 少 25% 产出 rational(显著)。说明不同公司/家族在生成“人类化偏差”上的倾向性存在系统差异,暗示训练数据/对齐方法(如 Anthropic 的 Constitutional AI)或架构差异或影响结果。 ,
Fig.3 + Table 5(代际与规模效应)——结论与证据:雷达/极坐标图与 probit 边际效应一致显示:从老一代→先进一代或从小规模→大规模,偏好题的 rational 比例下降而 human-like 增加;信念题呈相反方向(先进/大规模更理性)。Table 5 的回归在控制家族固定效应后仍保持显著,表明“越先进/越大更像人(偏好) / 更理性(信念)”这一模式稳健。作者进一步猜想 RLHF 趋势会推动模型学到“人类偏好”而更大数据/算力有助于学习统计真相(beliefs)。 ,,
Fig.4 与 Fig.5(Afrouzi et al. (2023) 的三种实验复现)——量化信念偏差:作者用模拟 AR(1) 路径并让模型做多轮预测,依据模型预测回归估计“感知的 persistence”(hat rho)并与真实 rho 比较。Fig.4(Experiment 1,短期 s=1)显示先进大模型(GPT-4 / Claude 3 Opus / Gemini 1.5 Pro)的 hat rho 与真 rho 接近(接近 FIRE 45° 线),而先进小模型高估 persistence(即更“人类式”过度外推)。Fig.5 在更长期 horizon 或提供更多过程信息时显示:长周期预测与/或额外信息会使先进模型在长端也产生人类式偏差,且为人类与小模型类似的“更人类化”偏差。该发现指出“提供详细过程信息反而引入更多人类式偏差”这一独特 LLM 现象(与人类不完全一致)。 ,,,
Table 6(Bose et al. 2022 的投资任务复现)——解析:作者复现对 1000 条价格图的实验并计算视觉显著性(VS)与 Corr(Returns, VS weights)等变量的影响。回归显示 VS×large 或 Corr×large 的交互项多数为正且显著,表明大模型在投资金额决策上更受视觉显著性影响(即更类似人类的非传统偏好),这与偏好题中“更大→更人类化”的结论一致。回归控制 CPT、salience 等变量并报告调整后 R²(表明显著拟合度)。 ,
估值/方法论解析(方法论说明,而非估值数字)
去偏(Debiasing)分析(Section 4)
风险因素与方法局限(报告内识别)
审慎视角与批判性评价
结论性综合(关键发现与建议)
补充视觉材料(关键图表再示)
最终评价(客观)
(注:本文中对报告内容的直接引用或结论性推断,均在对应句末用 [page::页码] 标注以便溯源。)
2602.09362.pdf