本文研究大语言模型在招聘中的“单一文化偏差”,通过比较十个模型的基础版与后训练版,发现后训练显著提升模型在人力资本特征上的一致性判断,但也使模型决策更加相关,并将全球系统性排斥率从5.6%推升至17.3%。后训练模型对年长求职者的回调概率平均下降3.6%,八个模型出现负向年龄偏差,导致不同人口群体的系统性排斥率扩大至12.2%—21.7%;结果表明,提升局部决策质量可能同时放大劳动力市场层面的同质化偏差与群体不平等风险。
| 解释变量或指标 | 基础模型 | 后训练模型 |
|---|---|---|
| 人力资本控制变量解释的回调率方差 | 9.3% | 16.5% |
| 人口特征变量解释的回调率方差 | 1.5% | 1.6% |
| 模型间残差相关性平均变化 | — | +0.377 |
| 模型间偏差相关性平均变化 | — | +0.092 |
论文的核心论点是:招聘领域广泛使用相似的LLM,可能使不同雇主不再表现出各自不同的偏见,而是共同采用一组高度相关的偏好和错误。作者将这种现象称为“monocultural biases”,即“单一文化偏差”。研究特别比较了十个模型家族的基础模型与后训练模型,发现后训练虽然提升了模型依据技能、专业和教育背景等“人力资本特征”筛选候选人的能力,却同时提高了不同模型之间的决策一致性,并显著加剧了对年龄较大候选人的不利影响。,
最重要的数量结论包括:相较于基础模型,后训练模型回调年龄较大候选人的概率平均下降约3.6%,这一负向变化出现在十个模型中的八个;模型之间更强的决策相关性使全球系统性排斥率由基础模型的5.6%上升到后训练模型的17.3%;不同人口统计组合的系统性排斥率在后训练模型中达到12.2%—21.7%。,
传统招聘歧视研究通常比较不同姓名、性别、种族或年龄信号对回调率的影响。过去不同雇主之间的歧视行为往往具有较强异质性,例如某些公司歧视黑人申请人,另一些公司可能没有明显歧视,甚至表现出相反方向。作者担心,如果大量公司依赖少数通用LLM,决策将从“多个雇主各自犯不同的错误”转变为“多个雇主共同犯相同的错误”。,
本文所说的“系统性排斥”并不是单个申请被拒,而是某个申请人在大量雇主或模型那里持续无法获得面试机会。如果多个公司采用行为高度相似的模型,某一类候选人的局部劣势就可能转化为整个劳动力市场中的共同劣势。
作者借用了算法单一文化和农业单一栽培的类比:如果大量作物具有相同基因,它们可能在日常环境中表现良好,但一旦遭遇某种疾病,就会同时受到损害。对应到招聘中,模型之间越相似,系统对某类申请人的共同排斥风险越高。
相关文献部分将研究分成三条主线:
作者引用的Kline等人的研究显示,传统雇主对黑人候选人的回调概率低约2.1%,但这种差异在雇主之间高度不一致。本文的重点并不是证明LLM一定比人类更歧视,而是指出:LLM可能把原本分散、异质的偏差变成同步发生的系统性偏差。
研究使用Burning Glass Institute提供的在线劳动力市场数据建立经验分布。职位数据包含超过6亿条招聘信息、800多个职业、160万家雇主和近110亿项技能;职业档案数据主要来自LinkedIn,包含近1亿份档案、超过4.6亿段工作经历和约12亿项技能。
由于在线招聘数据明显偏向白领和大学学历岗位,作者只选择在超过66%的职位中要求学士学位、但要求硕士或以上学历的比例低于33%的职业,最终得到76个职业。这一筛选使实验主要代表美国高技能、大学教育程度的白领劳动力,而不能直接推广到蓝领、服务业、低学历岗位或研究型职业。,
研究没有直接使用完整的真实简历和职位描述,而是根据职业条件抽取并重组职位、学历、技能、学校、雇主和岗位标题等特征,生成“经验驱动的合成实验”。这种方法可以扩大样本量、避免披露个人信息,并使研究者精确控制人口统计变量,但代价是生成的候选人档案不完全等于真实简历。,
作者按照职业条件建立职位和候选人的特征分布。例如,数据科学职业会更频繁抽取数据科学相关职位标题、技能、专业和雇主。薪资使用对数正态分布拟合,技能则采用频率统计并进行TF-IDF重新加权,以降低“Microsoft Word”等普遍但区分度较低的技能的影响;学校则依据学历建立条件分布。,
候选人年龄从22—58岁均匀抽取,并假设所有人22岁大学毕业,再根据2026年这一当前年份计算毕业年份。随后,实验会覆盖人口统计变量的特定信号。这里的年龄并不是通过真实出生日期表示,而是主要通过大学毕业年份推断。
每个基础实验包含一个职位空缺和两名候选人,模型需要选择哪一名候选人应获得面试机会。两名候选人都从同一职业条件分布中抽取,因此在没有人口统计扰动时,理论上具有对等的被选机会;研究者随后随机选择其中一人作为“被扰动候选人”,仅改变其姓名和毕业年份等人口统计信号。
实验覆盖三个二元变量:
三者组合形成8种交叉人口统计变体。种族与性别通过从既有研究中选取的具有区分性的姓名表示,年龄则通过毕业年份表示。作者使用每个种族—性别类别约500个独特姓名,以降低某一个特殊姓名驱动结果的可能性。,
不过,正文对年龄分类存在需要注意的表述差异:方法部分称使用“低于35岁”和“高于45岁”以避开临界年龄的模糊性,但后续图表和回归解释常用“低于40岁/高于40岁”或“over 40”。因此,读者应将其理解为“年轻与较年长信号”的实验比较,而不宜把结果严格解释为法律意义上的40岁年龄界限。,
图1展示了从基础提示词到8种人口统计变体,再到模型回调结果的完整流程。左侧是职位、雇主、技能、薪资和两份候选人档案;中间将其中一名候选人分别改造成白人男性、白人女性、黑人男性、黑人女性,并组合年轻或年长信号;右侧显示模型在20次试验中的回调比例。
图中示例显示,参考变体的回调率为50%,其他变体可能为65%、40%、35%、20%等。这个示例说明研究并不只记录单次确定性选择,而是使用温度为1的模型重复运行,并把多次选择转化为概率性回调率。研究还将被扰动候选人分别放在第一位和第二位各10次,以消除多项选择任务中的位置偏差。,
所有76个职业各生成10个基础实验,每个实验包含8个变体,每个变体运行20次,因此每个模型需要处理121,600次LLM调用。实验使用能够在单张H100 GPU上运行的开放源代码模型,采用FP8量化、温度1和JSON引导解码,完整评估约耗时24个GPU小时。,
对于每一个实验—变体组合,作者计算20次试验中被扰动候选人被选中的比例。该比例越高,表示模型相对于未扰动候选人越偏好该人口统计组合。
研究使用普通最小二乘法回归回调率,并控制三类人力资本匹配质量:
相似度主要通过句向量余弦相似度计算,技能匹配则对职位与候选人技能的多个配对相似度取平均。回归还加入职业固定效应,并在实验层级聚类标准误。,
人口统计系数β代表在控制职业和人力资本匹配后,黑人、女性或年长候选人相对于参考组的回调率差异。这是一种群体公平指标,其隐含前提是:在招聘任务中,人口统计特征本身不应导致回调率差异。
作者将基础模型和后训练模型合并,加入“是否后训练”与人口统计变量的交互项。交互系数λ可以近似理解为后训练前后偏差变化的差分—差分估计。例如,如果年龄交互项为负,则说明后训练后模型相对于基础版本更不愿意回调年长候选人。
模型之间的相关性被拆成两个部分:
残差相关性更接近模型是否共同偏好某种技能、专业或职业匹配;偏差相关性则更直接反映模型是否共同表现出人口统计歧视。,
如果某候选人在10个模型中至少9个模型的回调概率低于0.5,就被定义为“系统性排斥”。其中ρ=0.5是回调概率阈值,τ=9是模型一致数量要求。系统性排斥率则是某个人口统计组中满足这一条件的实验比例。
作者采用10,000次自助法抽样构建置信区间。该定义强调的是跨模型一致拒绝,而不是单个模型的低回调率。
图2A中的每个点代表一个模型在人口统计变量上的回调偏差估计,横轴为相对于参考组的回调率差异,横线为95%置信区间。图中可以观察到:种族和性别偏差在模型之间方向不完全相同,但年龄偏差尤其明显,后训练模型对年长候选人的负向系数更集中、更靠左。
作者报告,后训练模型年龄偏差的幅度约为−12.7%至−1.2%。相反,模型总体上更倾向黑人、女性和年轻候选人,但黑人和女性方向的结果更依赖个别模型,稳定性不如年龄偏差。
图2B显示后训练模型相对于基础模型对黑人候选人的回调概率提高约1.1%—1.5%,对女性候选人的回调概率也提高约1.1%。但黑人偏差变化主要由Gemma 3和Granite 4两个离群模型驱动:二者分别从−7.1%和−6.5%变为−0.2%和+1.0%;排除后,种族偏差变化接近于0且不显著。
性别变化主要受Nemotron Nano 3影响,该模型的女性回调偏差从+3.3%升至+9.8%;排除该模型后,变化幅度从1.1%降至0.5%,但仍具有统计显著性。
年龄结果则更加一致:10个模型中有8个在后训练后对年长候选人的回调概率下降。Granite 4从0.0%降至−10.0%,负向变化的中位数为−4.7%;仅Falcon H1和Qwen 3.5出现正向变化,分别为+1.2%和+1.7%。这构成论文关于“后训练统一引入年龄偏差”的最有力证据。
作者进一步比较了人口统计变量和人力资本控制变量对回调率方差的解释力。基础模型中,人力资本控制变量平均解释9.3%的回调率方差,人口统计变量仅解释1.5%;后训练模型中,人力资本解释力上升至16.5%,人口统计变量解释力仅小幅升至1.6%。
这说明后训练模型更依赖职位匹配、技能和教育背景等可观察特征。作者将其视为模型“更会挑选合适候选人”的证据,但这并不等同于证明模型真正提高了招聘准确率,因为研究没有独立的真实录用结果或专家标注作为“正确答案”。这一点是解释结果时必须保留的限制。,
图3A上半部分显示偏差相关性的分布,下半部分显示残差相关性的分布。后训练后,模型之间的偏差相关性平均增加0.092,而残差相关性平均增加0.377。残差相关性的增幅远大于偏差相关性,表明模型后训练后主要是在“如何评价候选人的人力资本质量”方面变得更加一致,而不只是在人口统计偏见方面趋同。,
图3B显示系统性排斥率的明显上升:基础模型的全球排斥率为5.6%,后训练模型提高到17.3%。基础模型不同人口统计组合的系统性排斥率范围为2.9%—8.3%,后训练模型扩大到12.2%—21.7%。
人口统计差异主要按年龄排序。年长组平均系统性排斥率为20.1%,年轻组为14.5%,仅因为年长信号就相差约5.6个百分点。由此可见,后训练模型的总体排斥上升,一部分来自更强的人力资本筛选一致性,人口统计群体之间的不平等则主要由年龄偏差推动。
图6将基础模型和后训练模型的残差相关性、偏差相关性分别绘制为热图。基础模型残差相关性分散程度较大,部分模型之间接近零甚至略为负相关;后训练模型的多数两两残差相关性则集中在约0.4—0.8区间,说明后训练确实强化了决策同质化。
偏差相关性在基础模型中总体接近零,而后训练后多数配对变为正相关,若干模型组合达到约0.2—0.3。相比之下,Moonlight在残差匹配方面被标记为离群模型,说明即使总体存在同质化,不同模型家族仍可能保留重要差异。
图7改变回调概率阈值ρ和一致模型数量τ,显示基础模型和后训练模型的全球系统性排斥率。作者认为最符合“系统性排斥”概念的区域是τ>5且ρ≤0.5,因为这意味着超过一半模型认为候选人回调概率低于50%;在这一合理区域内,后训练模型的系统性排斥率始终高于基础模型。
图8展示不同参数设定下人口统计组之间的排斥率差距,即最高组排斥率减最低组排斥率。除部分对角线区域外,后训练模型通常具有更大的差距,说明不平等结果不完全由ρ=0.5、τ=9这一组特定参数造成。
作者利用AllenAI的Olmo模型检查点,分别观察基础模型、监督微调(SFT)、直接偏好优化(DPO)和可验证奖励强化学习(RLVR)阶段。表8报告各阶段人口统计系数和人力资本控制系数,图9则单独绘制二者的解释方差R²。
结果显示,SFT阶段使年龄偏差显著恶化约5%,同时使人力资本控制变量解释力增加约4%;DPO阶段使人力资本解释力进一步增加约1.6%,但人口统计解释力下降约0.9%;RLVR对这两类指标的影响相对有限。
图9显示,模型从基础版本到SFT后,人力资本R²明显上升,人口统计R²也从约1.9%升至约3.1%;之后DPO和RLVR阶段,人口统计解释力回落,而人力资本解释力继续上升至约14%。作者据此推断,SFT可能同时是模型能力提升和年龄偏差增加的主要环节。
但作者也明确承认,这一结论来自单一模型家族,不能证明所有模型都由SFT产生同样结果;完整模型比较只能说明“后训练整体相关”,不能严格识别具体训练步骤的因果作用。,
主实验要求模型在两名候选人之间进行选择,替代实验则让模型对单名候选人按1—10分评分。示例职位为价值工程/项目风险管理主管,候选人的职位、学位、毕业年份和技能被列出,模型需要输出一个数字。
替代实验仍然得到类似结论:后训练造成的年龄偏差变化为−0.075分,作者认为这一变化方向与主实验的约−3.8%相近;人口统计偏差相关性增加0.117,高于主实验的0.092;人口统计组系统性排斥的范围则从基础模型的0.4%—0.9%扩大到后训练模型的47%—55%。
图12显示,评分任务中后训练模型的残差相关性平均增加0.434,偏差相关性增加0.117,均高于二选一任务的对应增幅。其系统性排斥率也明显集中在较高区间,且仍然主要按年龄排序。
这一结果支持论文的方向性结论,即结果不完全依赖“二选一”提示词。但评分任务使用的是1—10离散分数,如何把评分转换为系统性排斥、以及阈值如何与二选一任务对应,正文没有充分展开,因此数值不能简单与主实验的17.3%直接进行一一比较。
论文最有说服力的部分是年龄偏差方向的一致性:十个模型中八个后训练版本出现负向变化,且残差相关性和系统性排斥率也同步上升。, 然而,“后训练提高了选择最佳申请人的能力”主要是根据人力资本控制变量的R²上升推断的,而非根据真实招聘绩效或专家共识验证。因此,更严谨的表述应是“后训练使模型更一致地依据所测量的人力资本特征做出选择”,而不是直接断言其招聘质量一定提高。,
此外,系统性排斥率取决于ρ和τ两个人为设定的阈值。附录稳健性分析表明方向在多种参数下仍然存在,但不同阈值会导致排斥率绝对水平明显变化。因此,5.6%、17.3%和47%—55%应被理解为特定操作性定义下的估计,而不是劳动力市场中真实被拒绝人数的直接比例。, ,
论文还存在一个需要澄清的概念细节:后训练后模型的总体系统性排斥增加,主要被作者归因于残差相关性提高;而不同人口统计组之间的排斥差异主要被归因于人口统计偏差。这并不是说所有系统性排斥都由年龄歧视造成,而是说“排斥的总量”和“排斥在群体之间如何分布”有不同驱动因素。,
总体而言,这篇研究提出了一个比传统模型偏差审计更宏观的问题:如果大量公司使用相似的LLM,单个模型中看似有限的偏差是否会通过模型之间的相关性转化为劳动力市场层面的系统性排斥?实验结果给出的答案是肯定的,尤其体现在年龄维度。,
基础模型之间的决策差异较大,系统性排斥相对较低;后训练模型虽然更一致地识别技能、学历和职位匹配,却也更一致地排斥某些候选人。模型残差相关性从基础到后训练平均增加0.377,全球系统性排斥率从5.6%升至17.3%,年长组的排斥率约为20.1%,高于年轻组的14.5%。,
因此,作者总体立场不是反对后训练,而是强调其存在明确的权衡:后训练可能提高局部决策质量和跨模型一致性,但如果训练数据、对齐目标和方法高度共享,就可能把模型级偏差放大为系统级伤害。作者建议监管机构开展标准化、跨企业的偏差相关性审计,企业减少对公共对齐数据集的依赖,并通过更加多元化的后训练数据和方法降低决策同质化风险。
最终,论文最重要的政策含义是:仅审计单个招聘模型是否公平是不够的,还必须评估不同公司所使用的模型是否会共同排斥同一批人。对于招聘这样具有重大社会后果的领域,模型能力提升、决策一致性和群体公平之间不能被视为自动兼容的目标,而应当作为相互制约、同时评估的三项指标。
2609.22169.pdf