本文系统评估LLMs作为文化口味silicon surrogates的忠实度,基于SPPA数据对277,470个合成样本的对比,揭示表层看似合理的输出背后存在显著的偏差与结构性失配。生态层面显示silicon样本普遍呈现正向偏差,导致“喜欢”的广度被高估,特别是在非流行流派中更为突出;关系性结构被削弱, genre之间的协变关系与真实数据显著不同;在社会空间关联方面,年龄、性别、种族、收入等变量的关联被扭曲,甚至出现虚构或夸大的race-taste与类阶层关系 。研究采用Jaccard距离、相关矩阵对比和混合效应元回归等方法,系统评估生态、关系性与社会位置关联三维 fidelity,并指出在文化研究领域谨慎使用silicon采样的必要性与改正方向 。
元数据与概览
2.1 Silicon sampling 与 taste 研究的定位
2.2 评估 silicon tastes 的忠实度(研究问题与框架)
4.1 Taste inflation(嗜好膨胀)
4.1.3 Minority penalty(少数群体惩罚)解释力不足
4.2 Relationality(关系性)
4.2.3 关系性忠实度对流行度的条件性
4.3 Meta-regression(元回归:社会位置与嗜好之间的系数偏差)
4.3.1 Synthetic data 与年轻化嗜好偏差
4.3.2 Silicon 样本 resurrect retrograde class/taste homologies(重现早期的阶层-嗜好同调)
4.3.3 Silicon 样本 caricaturize gender-taste associations(性别与嗜好关系的夸张)
4.3.4 Fictive race-taste associations(虚构的种族-嗜好相关性)
5 结论性综合与讨论(结论性综合,含对风险与方法局限的反思)
图1:Comparing Cramer’s V estimates of Silicon Samples against SPPA data
图2:Heat map of Deviation in Cramer’s V
表格与表格注释要点
图表与表格清单(方便溯源与快速核对)
总体而言,这篇研究对“LLM 作为社会科学调查对照样本”的可行性进行了系统性、证据充分的评估,揭示了在文化嗜好研究中存在的若干关键风险点。对于学术研究而言,它提供了一个清晰的框架来衡量 fidelity、发现的偏差类型,以及对未来研究的改进方向。对于实际应用而言,作者的结论鼓励在依赖 silicon tastes 的研究设计中保持谨慎,并将其置于传统人类数据的辅助地位,以避免对文化生态与社会结构的误解。
2606.30085.pdf