本文以欧盟人工智能法案咨询为案例,连接同一利益相关者的公开文本与结构化问卷,检验大语言模型测量的可重复性与构念效度是否一致。研究发现,五次独立标注的组内相关系数超过0.994,但文本评分与问卷测量的相关性很弱,表明高度稳定的LLM标注并不等同于有效捕捉目标构念 。文本—问卷差异具有显著的利益相关者类型和地理聚集特征,商业协会在公开文本中对AI风险的强调明显高于问卷回答,而公共机构则相反;同时,问卷中的安全担忧与可解释性支持之间的关系在不同差异水平下仍然稳健 。研究据此强调,LLM处理制度化公共沟通时,测量的不仅是潜在态度,也包括组织角色、受众激励和沟通语境。
| 利益相关者类型 | 样本量 | 平均文本—问卷差异 | 95%置信区间 |
|---|---|---|---|
| 商业协会 | 38 | +1.00 | [0.68, 1.33] |
| 公共机构 | 15 | -0.70 | [-1.32, -0.07] |
| 学术/研究机构 | 48 | -0.20 | [-0.52, 0.11] |
| NGO | 65 | 0.15 | [-0.39, 0.09] |
| 欧盟公民 | 26 | 0.22 | [-0.78, 0.34] |
| 工会 | 8 | -0.79 | [-1.72, 0.15] |
| 差异分位组 | 样本量 | 安全担忧对可解释性支持的系数 | 95%置信区间 |
|---|---|---|---|
| 低差异组 | 116 | 1.17 | [0.41, 1.94] |
| 中差异组 | 115 | 0.82 | [-0.004, 1.63] |
| 高差异组 | 116 | 1.25 | [0.52, 1.97] |
标题:《Reproducibility is not construct validity: LLM measurement of institutionally situated communication》(可译为“可复现性并不等于构念效度:对制度情境化沟通的LLM测量”)。
作者:Veronika Batzdorfer 与 Carlo R. M. A. Santagiustina。Batzdorfer来自德国卡尔斯鲁厄理工学院社会学与计算社会学系;Santagiustina来自法国Inria巴黎中心及巴黎政治学院médialab。
研究对象:欧盟委员会关于《人工智能法案》的公共咨询文本及其配套调查回答,核心议题是人工智能安全、权利风险、可解释性,以及大型语言模型(LLM)能否作为社会科学测量工具。,
发布日期与正式发布机构:用户提供的正文未明确列出正式发布日期、期刊名称或出版机构;文中只能确认作者所属机构和数据来源是欧盟委员会Better Regulation Portal。,
这不是一份公司研究报告,因此没有股票评级、目标价或投资建议。它是一项关于“LLM测量有效性”的方法论和实证研究。报告的核心论点是:LLM在重复标注中高度一致,并不代表其测量到了研究者想测量的社会心理构念。研究中五次独立标注的组内相关系数(ICC)超过0.994,说明程序极其稳定;但LLM文本分数与同一利益相关者在调查中报告的相应态度之间相关性很低,表明“可复现性”与“构念效度”可以同时出现明显分离。,
报告进一步提出,文本与调查之间的差异未必只是测量失败。公共咨询文本是面向监管者、竞争者、消费者、投资者和其他公众的制度性沟通产品;调查回答则是在标准化、相对非公开的环境中给出的自我报告。因此,LLM文本分数可能测量的是利益相关者如何在公共场合强调某一议题,而不是其在调查中报告的担忧强度。, 研究发现,商业协会的公共文本比调查回答更强烈地强调AI风险,平均差异约为+1.00;公共机构和部分非商业群体则表现出较小甚至为负的差异。, 这意味着文本分数仍然可能具有实质信息,但不能未经验证地当作调查构念的替代变量。
报告首先区分了两个经常被混淆的概念:
传统人工编码或LLM编码往往以标注者一致率、与人工多数意见的一致程度作为主要验证依据,但这只能说明编码程序稳定或标签之间相符,不能充分证明它测量的是潜在的“AI安全担忧”“权利担忧”或“可解释性偏好”。 例如,文本中频繁讨论安全风险,可能是因为安全议题在监管程序中具有高制度重要性,也可能是组织想向监管者展示其重视安全,并不一定意味着该组织在调查中会报告同等程度的个人或组织担忧。,
研究提出两个问题:
作者的主要发现是:LLM标注在内部高度可重复,但与调查的收敛效度较弱;文本—调查差异存在明显的利益相关者异质性,并在国家之间呈现一定空间聚集;同时,调查中“高安全担忧”与“支持可解释性”的理论关系,在不同文本—调查差异水平下仍然存在。,
报告认为,当LLM输出被进一步用于回归、因果分析或政策评估时,仅有标签一致性是不够的。文本变量可能存在高维度、潜在混杂和未观测异质性;更重要的是,在监管咨询这样的公共制度环境中,文本还可能包含组织定位、公共修辞、战略信号和受众导向。
这种观点的关键含义是:即使LLM准确识别了“文本是否谈论安全”,它也未必准确识别了“组织有多大程度地担忧安全”。前者更接近议题出现和修辞显著性,后者则是调查中对担忧强度的自我报告。,
图1用有向无环图(DAG)说明文本测量可能产生的统计问题。图中,(T)表示潜在的AI安全担忧,(Y)表示潜在的AI可解释性担忧,(U)表示未观测混杂,(X)表示观测协变量;公共咨询文本Text同时受到不同潜在构念以及制度情境的影响,LLM分数(W_T)和(W_Y)又是从Text中生成的。,
作者将Text描述为由多个潜在构念共同影响的下游结果,即一个结构性碰撞点(collider)。在因果图中,如果研究者把文本或文本衍生变量当作无误差的控制变量,可能会因条件化于碰撞点而打开原本不存在的路径,形成碰撞点分层偏差。换言之,LLM分数的高内部一致性不能消除因文本生成机制而造成的因果偏差。, 这对将文本变量直接纳入因果推断尤其重要,因为文本可能不是潜在态度的被动反映,而是多个态度、组织因素和受众激励共同作用后的产物。
报告提出三类机制解释文本与调查回答的系统差异。
第一,多重受众。公共咨询同时面向监管者、竞争者、客户、支持者和投资者。组织可以对不同受众采用游说、联盟建设或公共关系等不同策略。商业组织可能在公共文本中强调AI安全,以展示行业责任感、提升政策合法性或塑造自身为“能够管理风险的专业行动者”。,
第二,声誉风险。企业或商业协会如果显得不重视AI风险,可能遭遇消费者不信任、投资者审查或治理批评,因此存在“防御性放大”风险议题的动机。相反,公共机构若过度强调风险,可能被批评为制造恐慌、过度干预、反创新或反商业,因此更可能采取克制表达。 这套逻辑可以解释商业协会的正差异和公共机构的负差异,但作者明确强调,这只是理论上相容的机制,并不能由当前设计直接证明“战略意图”。
第三,制度性接入渠道。与政策制定者已有私人沟通渠道的组织,可能不需要通过公开文本强烈表达立场;缺乏直接接入渠道的组织则可能更依赖公开倡议。不过在AI监管这一新兴领域,即便已有接入渠道,组织也可能因为私人渠道效果不确定而同时强化公共表达。
研究使用2020年2月20日至2021年4月27日期间、三个咨询轮次的欧盟AI监管公共咨询数据,共857份提交文件。其中348份同时包含自由文本和结构化调查项目,占总样本的40.6%,这些文件构成验证样本。
这一设计的优点是,文本和调查来自同一利益相关者,因此减少了跨样本比较造成的误差,能够更直接地检验“同一组织在两种沟通环境下是否表达相同构念”。但样本从857份文件缩减到348份,也意味着验证样本存在较大缺失,若同时具备文本和调查回答的组织与其他组织不同,可能产生选择性纳入问题。报告提供了样本流失表,但在用户给出的正文中没有展示具体流失数量和各阶段排除原因。
研究使用Qwen3.5-397b-A17b,为每份文本生成三个0—5分的连续指标:
初始提示词要求:未提及概念则为0,提及越强或越集中则分数越高,并同时输出主题分布以及是否提及监管和生物识别的二元标记。,
五次独立运行的ICC(C,1)在0.994—0.996之间,ICC(C,k)均超过0.999;补充分析中安全、权利和可解释性分别为0.995、0.996和0.994。这充分说明同一模型在重复运行中非常稳定,但也正好构成报告的核心反例:极高的重复一致性没有转化为对调查构念的有效测量。,
在发现初始提示词的效度问题后,作者将任务从“检测文本是否谈论议题”改成“根据自由文本预测利益相关者的调查回答”,并加入了量表锚点和少量示例。修订后的提示词将1—2分定义为简短提及,4分定义为明确政策要求,5分定义为核心主题。
然而修订后的收敛相关性仅略有改善,仍处于较低水平,范围为0.046—0.163。这说明问题并非单纯的提示词工程问题,而更可能来自文本表达与调查自我报告在沟通情境和操作化方式上的根本差异。
表1比较了LLM文本分数与调查项目,样本为348。安全担忧的相关系数仅为(r=0.029),且(p=0.59),基本没有跨情境相关;权利担忧为(r=0.176),具有统计显著性但强度很弱;可解释性为(r=0.097),(p=0.072),未达到常规显著水平。
Lin一致性相关系数(CCC)同时惩罚位置偏差和尺度偏差,三个构念的CCC仅为0.013—0.080;ICC(2,1)和ICC(3,1)也都低于0.15。这表明两种方法不仅相关性弱,而且在绝对水平和尺度使用方式上也不一致。
Bland–Altman分析进一步显示系统性偏差很大:安全担忧、权利担忧和可解释性的Cohen’s d分别为1.05、0.98和1.18,接近或超过一个标准差;一致性界限约为正负4分,几乎覆盖0—5量表的全部范围。 因而,问题不是简单的“LLM整体高半分或低半分”,而是两种工具对高低分的识别方式存在结构性不一致。
表2检验了区分效度,即LLM的某一分数是否更接近其目标调查构念,而不是其他相关构念。结果显示,LLM的安全—权利分数与调查可解释性项目的相关系数约为0.162,与其目标调查项目的相关系数约为0.177,二者几乎一样。
这意味着LLM可能没有清晰区分安全、权利和可解释性,而是在测量一个更宽泛的“公共文本中的议题显著性”或“总体担忧表达”。作者认为,公共文本中只要提到安全,往往已经是在表达某种担忧;但调查回答需要受访者区分“是否担忧”和“担忧程度”,因此LLM在量表高端容易压缩,无法准确区分不同程度的强烈担忧。
研究将三个标准化调查项目的均值构成调查综合分数,将对应三个LLM分数的均值构成文本综合分数,再以文本综合分数减去调查综合分数形成差异指数。正值表示公共文本中的议题表达高于调查报告,负值表示调查报告高于文本表达。,
作者谨慎指出,该指数不应直接解释为“战略放大程度”或主观意图,因为它同时混合了修辞强调、议题选择、组织类型、国家文化、文本与调查操作化差异等因素。
图2以点估计和95%置信区间展示各类利益相关者的平均差异。商业协会的平均差异最大,为+1.00,区间为[0.68, 1.33],样本量38,意味着其公共咨询文本显著比调查回答更强调相关AI风险和可解释性议题。 公共机构平均为−0.70,区间为[−1.32, −0.07],说明其公共表达反而比调查报告更加克制。
公司/商业组织的点估计略为正,学术机构、NGO、欧盟公民和工会的估计大多接近零或为负,但这些组别的置信区间通常跨过零,不能据此断言存在稳定的群体差异。 Welch方差分析为(F=7.93),(p=6.0\times10^{-7}),说明总体组间异质性很强;Games–Howell事后检验显示商业协会与多数其他群体存在显著差异,而其他群体之间的差异在考虑方差不齐和样本量不同后不再显著。
需要注意的是,正文中部分置信区间存在明显的书写或排序异常,例如学术机构、NGO和欧盟公民的区间符号与端点顺序不完全规范。因此,组间方向和总体显著性是较稳妥的结论,但个别群体置信区间的精确解读应保持谨慎。
研究以共享陆地边界定义邻国,使用queen contiguity权重和9,999次随机置换计算Moran’s I。主分析纳入23个具有可估计差异且至少有一个邻国的国家。, 差异指数的Moran’s I为0.347,置换检验(p=0.036),高于零假设下的期望值−0.045,表明相邻国家的文本—调查差异更相似,存在正向空间自相关。
图7以地图和网络展示国家差异:大陆欧洲部分国家形成较温和的正差异集群,南欧国家更多呈现负差异或公共表达克制;岛屿国家因没有陆地邻接关系,被排除在空间滞后计算之外。 图8进一步比较三种指标:调查担忧的Moran’s I为0.096、(p=0.240),不显著;公共修辞的Moran’s I为0.446、(p=0.009),显著;差异指数为0.347、(p=0.036)。这说明地理聚集主要存在于公共表达,而不是调查报告本身。
不过,多重检验调整削弱了该结论:差异指数的FDR调整后(p=0.054),Bonferroni调整后(p=0.108),因此国家空间聚集应被视为提示性证据,而不是非常稳健的确认性发现。
表3按五个欧洲区域汇总差异指数。英语国家平均为+0.29,表现出轻度公共表达放大;大陆欧洲约为+0.01,基本中性;南欧为−0.49,表现出较明显的公共表达克制;北欧为+0.20;东欧为−0.35。,
南欧、北欧和东欧样本较小,分别为36、24和13,因此这些均值的不确定性较大。区域两两差异在Bonferroni校正后均不显著,不能把区域均值直接解释为已被确认的文化因果机制。
作者没有使用效度较弱的LLM分数进行下游核心估计,而是将调查回答作为参考,考察调查报告的高安全担忧是否与对可解释性监管的支持相关。处理变量定义为安全担忧大于等于4,结果变量为调查中的可解释性支持;模型使用LightGBM、五折交叉拟合和因果森林双重机器学习。,
因果森林DML估计系数为1.39,95%置信区间为[0.85, 1.93];线性DML估计为1.01,区间为[0.65, 1.36],置换检验(p<0.001)。这表示高安全担忧利益相关者的调查可解释性支持平均更高,且该关系并不只依赖某一种模型设定。
但应当注意,报告正文多处将其称为“association”而非确定的因果效应。虽然DML控制了组织特征、能力和活动领域等前置协变量,观察性数据仍可能存在未观测混杂,因此系数更稳妥的解释是条件关联,而不是已经确定的因果影响。
图3将差异指数分为低、中、高三个三分位组。低差异组的系数为1.17,95%区间[0.41, 1.94];中差异组为0.82,区间[−0.004, 1.63],接近统计显著边界;高差异组反而为1.25,区间[0.52, 1.97]。,
该图最重要的含义是:公共表达与调查回答之间的差异并没有简单地削弱调查构念之间的关系。即使某些利益相关者在公共文本中更强烈地表达AI风险,他们在调查中仍然表现出安全担忧与可解释性支持之间的结构化关联。 这支持作者的观点,即差异指数可能承载制度性沟通信息,而不只是随机测量误差。
图4展示高安全担忧组和低安全担忧组的倾向得分分布。约70%的观察值位于0.05—0.95的共同支持区间,逻辑回归倾向模型AUC为0.76,LightGBM为0.66。, 这表明处理组和对照组存在一定重叠,但并非完全重叠。
截尾后保留243个观测,估计系数为0.58;更严格截尾保留235个观测,系数为0.84;两者仍为正且显著,但低于完整样本的1.01。 因而核心正向关系不依赖极端倾向得分,但完整样本估计确实包含一定外推成分。
图5按照“AI可能危及安全”重要性的0—5等级绘制可解释性支持均值。随着安全重要性从0升至5,可解释性支持总体上升;最高安全担忧组样本量最大,均值约在4.6附近,而低担忧组均值明显较低。 这与DML结果方向一致,但低等级组样本很少,置信区间较宽,因此低端趋势不应过度精确解释。
上图路径在原文中为:
图6展示各国可解释性支持均值和95%置信区间。丹麦和意大利的均值接近量表高端,但样本量分别只有5和10;英国、西班牙、荷兰、法国等国家也较高;芬兰、波兰和瑞典的均值相对较低,但这些国家的置信区间较宽。 该图显示了国家间描述性差异,却不能单独证明国家文化造成差异。
补充标注分析显示,在4,285次标注中有295次(6.9%)呈现可能与战略沟通而非随机测量误差有关的模式,其中120份文件(2.8%)同时具有高修辞强度和低具体性。 这进一步支持文本可能包含公共定位和象征性表达,但“战略沟通”只是内部规则识别出的模式,并不是对组织意图的直接观测。
报告的主要局限包括:研究仅覆盖一个政策领域、一次欧盟咨询过程和一个LLM,不能确定结果是否适用于其他模型、语言、政策主题或制度文体。 初始提示词把“明确提及安全”作为担忧证据,这可能带有英语—美国式文本表达偏向,无法充分识别欧洲监管文本中的程序性、预防性或间接表达。 调查本身也可能受社会期许偏差、题目措辞和天花板效应影响,因此作者并未将调查视为绝对无偏的“真值”。
从审慎角度看,报告有三点需要特别注意:
这篇报告最重要的贡献不是证明LLM“不能测量”社会态度,而是要求研究者区分三个层次:程序是否稳定、输出是否对应外部构念、以及文本中表达的制度性信息是否本身具有研究价值。本研究中,LLM的重复运行几乎完全一致,但与调查中安全、权利和可解释性项目的相关性很低,CCC接近零,Bland–Altman分析显示大幅系统偏差,说明高可复现性不能替代构念验证。,
同时,文本—调查差异并非随机噪声。商业协会倾向于在公共咨询中更强烈地强调AI风险,公共机构和部分非商业群体则更加克制;公共修辞和差异指数还比调查担忧表现出更明显的国家空间聚集。, 因此,若研究目标是恢复调查意义上的“担忧强度”,LLM文本分数必须经过外部标准验证,不能直接作为替代变量;若研究目标是理解组织如何在公共制度环境中表达、包装和强调风险,那么差异本身就是值得分析的对象。,
作者最终立场可以概括为:LLM标注可以高度可复现,也可以系统地捕捉有意义的公共沟通模式,但这不等于它具有与调查工具相同的构念效度。研究者应根据推断目标,明确自己是在测量潜在态度,还是在测量该态度在特定制度、组织和受众环境中的公共表达。,
2609.19866.pdf