本文提出一种将决策后果纳入公平性评估的效用框架,证明即使决策过程满足任意小的 ε-fairness,也可能因不同群体在录取、贷款违约等结果上的效用差异而高度不公平。研究通过大学录取和住房抵押贷款案例表明,仅调整录取或批准概率不足以消除不公平,还需要降低完成失败或违约所带来的负面后果,并进一步讨论了信息不完整、概率不确定性及一般化模型下的公平性条件。
论文在标准设定中将真实状态 (Y) 与算法预测 (\hat Y) 组合为四种情形,并分别赋予 (U_{00},U_{01},U_{10},U_{11}) 四类效用;群体公平性取决于四类联合概率与效用的共同作用,而非某一个局部统计指标。
报告标题为 《When fairness metrics fail: A utility-based perspective on ε-fairness》,可译为《当公平性指标失效:基于效用的 ε-公平性视角》。作者为 Tolulope Fadina 和 Thorsten Schmidt,前者来自美国伊利诺伊大学厄巴纳—香槟分校精算科学与风险管理方向,后者来自德国弗莱堡大学数学随机学系。 文中未提供明确的正式发布日期、期刊名称、投资评级或目标价格,因此它本质上是一篇关于算法公平性的数学与应用研究论文,而非传统意义上的股票、债券或行业投资研究报告。,
报告研究的核心主题是:机器学习或决策算法通常使用人口统计公平性、错误率平等、接受率平等等概率指标来判断公平,但这些指标只描述“某种结果发生的概率”,并不一定反映结果对个人或群体造成的实际经济、教育或生活后果。,
报告最重要的判断是:一个决策规则即使满足非常小的 ε-公平性,也可能在效用意义上极度不公平,甚至产生任意大的群体效用差异。 其原因在于,概率差异本身可能很小,但如果不同结果对应的效用差异极大,那么很小的概率偏差经过加权后也会形成显著甚至灾难性的实际影响。,
作者因此提出一个效用基础的公平性框架,将每一种“真实状态—算法决策”的组合分别赋予效用值,再比较标准群体与受保护群体的期望效用。报告以大学录取和住房抵押贷款审批为例,说明接受率、通过率或违约率等单独的概率指标,无法完整描述公平性;真正需要关注的是决策后果,包括完成学业的收益、未完成学业的债务负担、贷款违约时借款人的损失等。, ,
报告考虑一个二元分类算法。个体的真实状态记为 (Y),算法预测或决定的结果记为 (\hat Y)。按照机器学习中的惯例,(Y=1)代表“好状态”,例如成功完成大学学业或能够偿还贷款;(Y=0)代表相反状态。
报告将人群划分为标准群体 (S=0) 和受保护群体 (S=1),并在每个群体内考察四种组合:
图1把这四种组合放在一个混淆矩阵中,同时为每个组合赋予效用 (U_{kj}) 和群体条件概率 (p^s_{kj})。图中右下角的 (U_{11}) 对应真正获得机会并取得成功的情形,通常是大学录取或贷款审批中最有利的结果。
图1的关键意义不在于传统分类意义上的“正确率”,而在于指出:四类结果的社会经济价值并不相同。比如大学录取失败但申请人本来就无法完成学业,和大学录取后因无法完成学业而承担高额债务,这两种结果不能仅凭“预测正确或错误”来衡量。
作者将每个结果的效用视为对决策后果的价值评价。对于一个已经被录取的人,若最终成功完成学业,其效用为 (U_{11});如果录取后未能完成学业,其效用为 (U_{01})。对于未被录取的人,则相应使用 (U_{00}) 和 (U_{10}),具体含义取决于真实能力和未被录取后的替代机会。,
报告特别强调,这些效用是群体层面的共同基准值,并不意味着群体中的每个个体都会以完全相同的方式体验某一结果。若希望使用个体异质性的效用,就必须获得更多数据,并估计不同群体、不同结果条件下的平均效用;如果这些平均效用本身存在群体差异,原有数学结论也可能需要重新改写。
在数学上,群体 (s) 的期望效用可以理解为四类效用的概率加权和:
[ E_s[U]=\sum_{k,j\in{0,1}}U_{kj}P_s(Y=k,\hat Y=j). ]
因此,受保护群体是否处于不利地位,不是比较某一个单独的概率,而是比较两个群体的总期望效用。作者将标准群体与受保护群体的效用差定义为“效用差异”,并规定正值表示受保护群体处于不利地位;如果效用差为负,则受保护群体反而获得了更好的平均结果。,
这一框架也可以涵盖物质不平等。如果效用函数直接取货币结果,那么效用差就是经济损失或经济收益的群体差异;如果效用函数还包括教育机会、生活质量或风险厌恶等因素,则框架可以扩展到非货币后果。
报告指出,传统公平性指标通常考察接受率、真实阳性率、假阳性率、预测准确率等统计量。这些指标关注的是“决策发生的概率是否相同”,但效用公平关注的是“决策结果对两个群体造成的平均后果是否相同”。,
如果两个群体在四个联合事件 ((Y,\hat Y)) 上的概率完全相同,那么两群体的期望效用必然相同。因此,联合分布相等是效用公平的一个充分条件。但作者强调,某个局部统计量相等,例如正预测值、条件准确率或某一个错误率相等,并不能自动保证四个联合概率都相等。
报告还讨论了风险度量与公平性的关系。风险度量通常对条件于群体的效用随机变量进行总体性评价,并且会受到群体人口比例的影响;而本文直接比较群体之间的效用差。因此,某个风险度量较小,并不代表标准群体与受保护群体之间的效用差异也较小。
一般公平性指标用距离 (d) 衡量两个群体的概率分布差异。完全公平要求该距离为零,而 ε-公平性则允许距离不超过一个较小的正数 ε。作者承认,在实际数据中,概率需要通过样本估计,完全达到零距离往往不现实,因此引入 ε具有统计和实践上的合理性。
问题在于,报告证明了:只要概率差异不是严格为零,即使 ε可以无限接近于零,也可以通过选择足够大的效用参数,使效用差异任意大。换言之,概率层面的“小误差”并不对应效用层面的“小误差”。
这一结论的数学直觉是,期望效用差异是“概率差异乘以效用差异”的加总。如果某一结果的经济或社会后果非常严重,那么即使该结果在两个群体之间只差很小的概率,最终的期望效用差也可能很大。命题3的“任意大”结果主要说明传统 ε-公平性缺乏对效用尺度的控制;在现实应用中,效用通常有自然上下界,因此作者进一步提出在效用差异有界为 (K)、概率差异有界为 ε 时的上界估计。
报告分别讨论了几类常见指标:
作者证明,如果基础率平等与均等赔率同时成立,并且 (U_{01}=U_{10}),则可以推出效用公平。但作者同时指出,基础率平等在现实中通常无法由算法控制,且往往并不成立,因此这一充分条件的实际适用范围有限。
此外,人口统计平等与均等赔率同时成立,也不必然保证效用公平。其根本原因是,接受率相同、条件错误率相同,并不能自动处理不同结果对应的效用值差异。
报告将大学录取作为第一个应用。作者把成功完成大学项目视为 (Y=1),并使用一个具有货币含义的效用校准来表示完成大学教育的收益。
在粗略估计中,作者取效用差异的最低界限 (K=230,000)。同时假设标准群体的录取后完成概率为 (q_0=80%),受保护群体与标准群体之间的条件完成率差异为 (\delta=20%)。由此得到概率差异 (q_0\delta=0.16),即16个百分点。报告认为,在230,000的效用规模下,即使概率差异只有16%,对应的经济性不利影响仍然可能非常显著,即使此时两组录取率相同。
这个例子直接说明,录取率平等不能替代结果平等。两组都以80%的概率被录取,并不意味着两组从大学教育中获得的平均收益相同;如果受保护群体被录取后完成学业的概率更低,或者失败后的债务损失更高,那么两组的效用仍然不同。
最简模型假设 (U_{01}=0),并且 (U_{10}=U_{00}=0),也就是说,只有“被录取且最终成功完成学业”产生正效用,其他情形暂时作为零效用基准。
在此设定下,群体的效用主要取决于三个因素:
当两组录取率相同,即满足人口统计平等时,效用差仍然与完成率差异 (\delta) 成正比。报告明确指出,只要录取率 (q>0),人口统计平等只有在 (\delta=0) 时才能消除效用不利。
在报告给出的数值中,若录取率为80%、完成率差异为20%,两组效用差达到27,200。这个数字体现了一个重要结论:即使算法完全满足相同录取率要求,受保护群体仍可能承担27,200规模的平均效用劣势。
图2左侧展示了受保护群体录取概率 (q_1) 与效用差之间的关系。曲线总体向下,说明提高受保护群体的录取率可以缩小效用差;但是,即使受保护群体的录取率提高到100%,仍然存在大约3,400的效用不利。
图2左图支持作者的核心论点:如果受保护群体录取后的完成率较低,那么仅仅调整录取概率并不能解决效用不平等。报告进一步计算出,使效用差为零所需的录取率 (q_1^*) 大于1,这在概率上不可行,因此录取政策本身没有足够的调节空间。
图2右侧考察固定录取名额的情形。总共有1250人,录取1000人,其中250人属于受保护群体;从两个群体均以80%录取率开始,当增加受保护群体录取人数、同时减少标准群体录取人数时,约录取97.3%的受保护群体可以实现两组效用相等。
右图与左图的区别在于,右图允许群体之间重新分配有限的录取名额,因此可以通过牺牲一部分标准群体录取机会来抵消受保护群体较低的完成率。不过,这种结果也显示出一个政策层面的张力:如果名额固定,效用公平可能要求极高的受保护群体录取率,而这不一定等同于传统的录取率平等。
在加入学生贷款后,未完成学业的负面后果不再是零,而是可能包括学费、贷款本金、利息和替代职业机会损失。报告指出,这会使先前的效用差异扩大约35%,因为成功完成学业与录取后失败之间的效用落差进一步增加。
这一设定更贴近现实,也揭示了教育公平的第二层含义:公平不应只关注谁被录取,还应关注谁能够完成学业、谁会因失败承担沉重债务。作者还指出,财富差异可以通过群体相关或个体相关的效用函数纳入模型,但这需要额外数据与更复杂的效用设定,因此留待未来研究。
报告提出条件使用准确率(conditional use accuracy,CUA)作为一种更容易与联合概率和期望效用联系起来的统计条件。其核心是比较不同群体在给定预测结果下真实状态的条件概率,例如在算法作出正面预测后,各群体实际成功的概率是否相同。
命题6表明,如果条件使用准确率相等,并且两个群体的正面预测概率也相等,那么不存在效用意义上的不利。若正面预测概率只相差 ε,则在效用差异有界为 (K) 的情况下,也可以得到一个包含 (\Gamma)、ε和 (K) 的效用差上界。
这一结果比一般的概率差异上界更精细,因为条件使用准确率已经控制了部分联合分布差异。报告指出,当 (\Gamma) 较小时,所得上界可能较小,因此在实际公平审计中,CUA与接受率差异可以结合起来使用。
如果真实状态 (Y) 与算法预测 (\hat Y) 的联合分布整体上与群体属性 (S) 独立,那么两个群体的四类联合概率完全相同,从而必然不存在效用不利。,
但仅仅要求算法预测 (\hat Y) 与群体属性独立是不够的,因为两个群体可能具有不同的真实成功率或不同的预测—结果联系。也就是说,预测结果分布相同,并不能保证决策结果的实际后果相同。
在大学录取和贷款审批中,一个重要的数据问题是:对于被拒绝的人,通常不知道如果给予机会,他们最终是否会成功。为了解决这一反事实信息缺失问题,报告把 ((Y=0,\hat Y=0)) 和 ((Y=1,\hat Y=0)) 两种拒绝情形合并为一个结果 (U_0)。
图3展示了这个约化设定:(\hat Y=0) 的整个列被合并,不再区分被拒绝者的真实状态;只有在获得正面决定 (\hat Y=1) 时,才进一步区分成功和失败。
约化设定的优点是只需要估计可观测或相对容易估计的概率,但代价是丢失了被拒绝者的潜在结果信息。报告指出,大学案例中由于假设 (U_{00}=U_{10}=0),实际上已经采用了这一约化结构。
在约化设定中,由于无法获得被拒绝者的真实状态,作者以无条件拒绝概率相等替代标准条件使用准确率中的一部分条件,并将其称为约化的条件使用准确率,即(C)UA。,
命题8表明,在该约化条件成立时,可以推出不存在效用不利。这为实际应用提供了一个较低数据要求的公平性判定方式,但其有效性依赖于效用确实可以合理地合并为 (U_0),以及相关条件概率估计足够可靠。
报告第二个案例研究住房抵押贷款。贷款金额为 (M_0=P_0-x_0),其中 (P_0) 是房屋初始价格,(x_0) 是借款人自有流动资本。到期时,借款人拥有储蓄或财富 (X_T),房屋价值为 (P_T)。如果财富足以偿还贷款,则不发生违约;如果不足,则发生违约并出售房屋。
图4展示了从时点0到时点T的资产负债变化:初始房价由自有资金和抵押贷款共同构成,未来房价和储蓄决定借款人是否能够覆盖贷款余额。违约时房屋通常只能以折价出售,折价后的回收价值为 (P_T(1-\lambda))。,
图4传递的信息是,银行和借款人的风险并不对称:只要房屋出售后的回收价值足以覆盖贷款,银行可能没有实质损失,但借款人仍可能失去住房、资本和未来财富,因此违约对借款人的负效用可能非常大。
作者设定房价 (P_0=300,000),借款人拥有30%的资本,因此抵押贷款为 (M_0=210,000)。假设不违约概率为95%,违约时房屋在好情形下可卖300,000,在坏情形下可卖200,000,作者对相关结果取平均,并忽略贴现。
模型同时考虑住房居住成本,按10年期限和约3%的年租金比例估算,累计生活或租住成本 (C) 约为100,000。与大学录取案例不同,贷款被拒绝时的效用 (U_0) 并不为零,甚至可能高于贷款获批但最终违约的效用 (U_{01})。这意味着,对高违约风险申请人而言,“不获得贷款”有时比“获得贷款后违约”更有利。
在两组接受率都为80%的情况下,标准群体获批后不违约概率为95%,受保护群体获批后不违约概率为90%。报告认为,虽然两组接受率完全相同,但由于违约后果存在显著负效用,受保护群体的整体效用已经低于标准群体。,
报告进一步求解使两个群体效用相等的受保护群体接受率,结果为 (p=0.6)。也就是说,将受保护群体接受率从80%降低到60%,反而可以消除效用意义上的不利。
这一结论并不是说拒绝贷款本身通常更公平,而是因为在该模型中,贷款获批后违约会造成严重损失;如果受保护群体违约概率较高,过高的批准率可能使更多人暴露在灾难性负效用之下。由此可见,简单追求群体接受率相等,可能导致实际结果更不公平。
报告的政策含义是,抵押贷款公平性不能只通过调整批准率解决,还需要降低违约发生后的负面后果,例如改善还款保障、降低止赎损失、提供风险缓释措施或重新设计贷款条款。
报告承认,现实中的概率不是已知常数,而是从有限样本中估计出来的。因此,公平性判断必须考虑抽样误差、样本量、置信区间和模型不确定性。
作者在约化设定下用概率区间表示不确定性,并通过命题9计算效用差异的上界。其思想是使用各概率参数的上下界,寻找最不利的组合,从而判断在统计不确定性下是否仍能保证不存在显著效用不利。,
对于逻辑回归,可以使用较成熟的统计方法构造置信区间;对于随机森林等机器学习算法,也可以使用jackknife或infinitesimal jackknife方法估计不确定性。
报告提醒,模型估计必须基于具有相近协变量的个体,例如相同信用评级、相似邮政编码或相近GPA,否则群体差异可能只是协变量结构差异造成的。此外,数据还应尽量满足独立同分布假设;如果样本跨越多年,宏观经济环境、政策和申请人结构变化会削弱这一假设。样本越小,置信区间越宽,公平性结论也越不确定。
在更一般的模型中,作者假设未来财富 (X_T) 服从均值为 (\mu)、标准差为 (\sigma) 的正态分布,并使用类似Merton模型的思想描述违约风险。
图5展示了未来财富的正态分布、违约区间边界以及相应的效用函数。图中参数包括 (\mu=230,000)、(\sigma=30,000),并标出了大约为 (-110,000) 和 (210,000) 的效用或财富边界;效用曲线在不同状态之间呈现分段变化,反映正常偿还、房屋折价出售但足以覆盖贷款,以及回收不足导致损失等不同情形。
作者进一步使用 (M_T=200,000)、(P_T=400,000)、(x_0=90,000)、(C=100,000)、(\lambda=0.2) 等参数进行示例计算,得到违约概率约25%。在正常偿还情形下,期望效用为256,000;在被批准但最终违约的情形下,期望效用为54,000;未获批情形的期望效用则按约220,000乘以拒绝概率计算。
图5和这些数值共同说明,获批并不等于获得同样的经济利益。贷款成功偿还和贷款违约之间可能存在超过数十万规模的效用落差,因此仅比较批准率和违约率,仍然无法描述贷款决策对不同群体造成的真实影响。
报告虽然没有独立的“风险章节”,但其方法和案例揭示了以下风险:
报告的“效用差异可以任意大”结论在数学上有说服力,但它依赖于效用参数可以任意扩大。现实中效用一般存在自然边界,因此更具应用意义的是作者随后提出的 (K)-有界上界,而不是无界情形本身。
效用方法的优势是把结果后果纳入公平评价,但效用的选择本身具有规范性。比如,在抵押贷款案例中,作者认为违约损失可能远大于拒绝贷款的负面影响,于是降低受保护群体接受率可能提高其平均效用;然而这一结论需要谨慎解释,因为它可能与机会平等、资产积累和长期信贷可得性等更广泛目标发生张力。,
报告也明确承认其标准设定暂不处理复杂协变量、个体效用异质性、动态反馈和不完全信息。因而,其数值例子更适合用于说明机制,而不应直接视为现实大学或银行政策的精确估计。, ,
这篇报告的根本贡献,是将算法公平从“概率是否相等”推进到“决策结果造成的实际效用是否相等”。其理论结果表明,ε-公平性允许的微小概率偏差,在结果效用差异很大时,仍可能造成显著甚至极端的不公平。
大学录取案例显示,即使两个群体录取率相同,如果受保护群体录取后的完成率较低,效用差仍然存在;当录取失败伴随学生贷款债务时,这种差异还会扩大约35%。图2进一步表明,即使把受保护群体录取率提高到100%,也可能仍无法消除不利,说明政策必须改善完成率和失败后的经济后果,而不能只调整录取率。,
抵押贷款案例则展示了更加反直觉的结果:在违约损失极高且受保护群体违约率略高的情况下,简单维持相同批准率可能反而造成更大的效用不平等;模型计算显示,降低受保护群体批准率至60%可以实现期望效用相等。 图4和图5进一步说明,正常还款、抵押品折价出售和回收不足所对应的效用差异,远大于批准率本身所能反映的信息。, ,
总体而言,作者并不是主张废除传统公平性指标,而是认为它们必须与效用、损失、财富、教育完成情况和违约后果结合使用。报告最终立场是:公平审计不能只问“两个群体获得某种决定的概率是否相同”,还必须问“这些决定对两个群体产生的实际经济和社会后果是否相同”。
2405.09360.pdf