本研究通过大规模行为实验(Sense of Self 与 Theory of Mind 设定)在独裁者博弈中评估多款开源与商用LLM代理的利他行为,发现不同模型间及同一模型不同尺寸间表现高度不一致,简单赋予“人类身份”并不能使模型产生人类式持续一致的利他决策;模型在决策分布上往往呈双峰(0与0.5)而非人类的连续分布,且其文本推理所体现的同情/共情语言标记也与人类基线不稳合 .
| 模型(示例) | #Trials | % 格式正确(JSON) | % 逻辑正确(算术) |
|---|---|---|---|
| llama3.1_70b | 10,000 | 10,000 | 96.36 |
| gpt4o_2024-08-06 | 10,000 | 10,000 | 95.61 |
| qwen2.5_7b | 10,000 | 9,956 | 5.37 |
元数据与概览(引言与报告概览)
逐节深度解读
方法(Section 2)
实证分析(Section 3):模型表现与主要结果解读
图表深度解读(逐图 / 表)
Figure 1(实验设计草图,page 13)描述了实验流程:随机生成人设与实验表述 → 向 LLM 代理呈现游戏指令 → 收集 JSON 与文本理由 → 结构化用于统计分析,文本用于心理过程分析。该图帮助理解数据生成管线与变量来源。
Table 1(模型性能,page 19–20)说明:虽然 JSON 格式正确率接近 100%,但“逻辑正确试次”在不同模型间差异极大(从 ~96% 到 ~5%)。这提示后续分析必须仅以“逻辑正确”试次为样本以避免算术错误污染行为结论。
Figure(Demographics & LLM Temperature,page 22–23)显示各人口统计变量(Age, Education, Household Income, Female, Married, Temperature)对“转移比例”的回归系数与 95% CI,图中用阴影区域标注基于人类研究的预期方向。解读要点:多个模型(尤其 Llama3.1 的一些规格)在 Education、Household Income、Female 上接近人类预期,但 GPT4o 对这些人口变量基本不对齐,且不同家族/规模之间系数方向与显著性高度不一致,说明“人设→决策”的映射在模型间不稳定。,
Figure(MBTI 影响,page 24)展示 MBTI 四维(Introversion, Feeling, Intuition, Perceiving)相对于转移比例的回归系数,结果显示 Gemma2-27B 与 Llama3.1-405B 在某些 MBTI 维度上更“类人”——例如 E/N/F/P 与慷慨呈正相关,但其他模型则不显著或方向相反,进一步说明人格标签在 LLM 中的作用极为模型依赖。作者指出 GPT4o 在 MBTI 上无显著性表现。,
Figure(Framing:Social Distance / Give vs Take / Stake,page 25)显示:大部分模型对 Social Distance(尤其 Stranger Meet 和 Friend)与 Take framing 的系数方向与人类一致(会增加给予的情景减少),但 Stake 的影响混杂且在同一模型家族内也不一致,说明情境操纵并非对所有模型产生稳定影响。
Figure(LIWC 心理过程系数,page 26 & 82)展示多项情感/社会/认知类指标(如 Positive Emotion、Affiliation、Cognitive Processes、First-person 等)对转移比例的预测能力。解读为:尽管正向情感(Positive Emotion)与 affiliation 在多数模型中倾向正相关,但整体一致性差,且 GPT4o 与大型 Llama3.1-405B 在部分 LIWC 类别上的系数方向出现交替正负,表明文本理由并不稳定地呈现与人类同构的心理标记。作者由此得出“文本分析未能证明 LLM 内在有类人情感/同情过程”的结论。,
附录 ToM 结果(page 78–81):ToM 试验重复了 SoS 的分析架构并得到类似结论(模型间差异、双峰决策、LIWC 不一致),例如 Table D17 展示 ToM 中模型的逻辑正确率排序略有差异但总体模式一致,且 ToM 的系数图(Figures D2–D4)再现了 SoS 的不稳定性。, ,
估值/统计方法说明(Methods)
风险因素与作者识别的局限(Section 4)
批判性视角与细微差别(审慎评估)
结论性综合
附:图像引用(本文中逐图引用的主要图示)
總體評價(精簡)
2410.21359.pdf