本报告提出一种基于因果推断的方法对另类数据进行去偏,使其可安全应用于信用审核,避免代理歧视和非法偏见。通过构建因果贝叶斯网络模型,区分合法数据路径与非法代理路径,训练时引入受保护属性作为调整变量,推断时置固定默认值,成功消除代理歧视风险。实证基于国家抵押贷款调查数据验证,该算法在提升模型整体准确性的同时,显著减少了不同族群间的模型偏差,兼顾公平性与精度 。
报告标题: Debiasing Alternative Data for Credit Underwriting Using Causal Inference
作者: Chris Lam
发布机构与时间: 美国Epistamai公司,2024年11月15日,发表于“Workshop on Explainable AI in Finance (XAIFIN2024)”
报告页数: 7页
主题领域: 利用因果推断方法消除信用评分中使用替代数据的偏差,防范算法歧视,提升信贷的公平性与准确性。
核心论点与主旨:
本文提出了一种基于因果推断(Causal Inference)的机器学习去偏算法,旨在清除替代数据(Alternative Data)在信贷评分模型中的非法代理效应(Proxy Bias),进而实现兼顾准确性和公平性的信用评估。这有助于信贷机构更好地利用非传统数据(如地理、教育等),扩大对历史上受限群体的信贷覆盖,避免并矫正因采纳替代数据带来的法律风险如种族或性别歧视。论文通过理论架构建模、算法设计及公开数据测试,展示其方法的有效性和稳健的无歧视保障。,1,2,3,4]
报告开篇指出传统信用评分主要依赖个人信用记录,如还款历史、信用额度使用等,但存在“薄账户”或“无信用记录”群体无法被准确评估的问题。替代数据(如电商交易、支付水电费历史等)被提出作为补充数据源,能帮助提高评分准确率、降低借款成本,扩大信贷可及性。作者举例了研究界发现的非金融替代数据(如匿名邮箱使用、买烟习惯、申请用词)可能与违约相关,但存在“非法代理”风险——即这些特征或成为种族、性别等保护属性的隐蔽代理,导致算法歧视和法规风险。
传统信贷行业为避免歧视,采取“公平通过无知”(Fairness through Unawareness),即模型训练时不包括保护属性,但因无法阻断替代数据中代理信号,效果不足。作者提出采用因果贝叶斯网络(CBN)建立因果公平模型,这需要领域专业知识,但能提供更理论化的解决方案。
本节阐述基本因果图模型,描述信贷评分中的关键变量及其因果关系:
核心假设是(Y) 与 (A) 条件独立于 (W),即 (W) 完全解释了保护属性对违约的影响,中介变量是关键法律合规因素。传统信用数据(X_W)并不代理保护属性,符合“无知公平”,因其只测量真实信用,且(A)对(D)无直接影响。机器学习模型被视作(X_W)到(D)的映射,是“世界模型”的代理,位于因果层次的第一层(关联),现实状况处于第二及第三层(干预和反事实)。
基于美国法规,区分了两类歧视:
异色待遇(Disparate Treatment),即明显歧视,模型直接使用保护属性(A)影响决策(D)(图4红色路径表示),这是直接违法的。
差别影响(Disparate Impact),即间接歧视,模型名义上不使用(A),但由于使用的特征(尤其是传统数据(X_W))中存在历史或系统性偏见,导致对某群体不利(图5展示(A)对(W)、(X_W)、(D)、(Y)的连锁负向作用)。因而,“无知公平”策略无法防止差别影响。
解决差别影响需证明模型的“商业必要性”,并且无更少歧视的替代方法。替代数据引入能够提升模型准确性(满足商业必要性),同时捕捉经济劣势群体的潜在信用信号,有望降低歧视强度,帮助满足差别影响的合规要求。
替代数据中存在两种情况:
人口统计变量 (Z),例如邮编、教育水平,既与信用中介(W)存在因果联系((Z \to W),合法路径),又通过保护属性(A)存在非法的代理路径((Z \leftarrow A \to W))。此类变量会引入偏差。
代理变量 (P),完全无因果关系,只是通过(A)与(W)间接相关,是非法路径。
引入(X_Z)(人口统计替代数据)与(X_W)共同作为模型特征时,未经控制会激活非法代理路径,导致显性歧视(图8红色路径所示);而传统无知公平只控制不使用(A),无法阻断此路径。
解决方案(图9所示)为:训练阶段仍使用保护属性(A)参与建模,但推断阶段固定(A)为某默认值(如“白人”)。这在因果层面即做了(do(A = a'))干预,阻断了非法代理路径,从而消除代理歧视。此操作保证了统一对待所有贷款申请者,满足无异色待遇的法定义务。
此外,这一方法允许利用替代数据提升模型准确度,扩大对经济弱势群体的信贷覆盖,避免了传统无知方法造成的差别影响,提供了法律上公正可控的信用评估方式。,3]
基于上述因果结构,本文提出结合Pearl的因果推断工具(如do-操作)进行多步骤的数据科学过程:
特征选择:以因果关系为基础,选取与信用中介(W)有直接因果路径的特征;避免使用无因果关系,只是代理保护属性的变量(如姓名、发型等非因果变量需剔除)。
数据准备:进行重叠性测试,确保特征值在保护属性各组中都有分布;如出现“积极性违背”(例如HBCU教育只出现在黑人群体中),需剔除相关值,以避免模型无法区分因果效应与代理效应。
训练:控制保护属性(A),即在模型训练中包含(A)以封闭非法代理路径,实现对替代数据偏差的矫正。
推断:利用因果干预(do(A=a'))替换保护属性真实值,配合实际替代数据值,进行公平公平测试,阻断非法代理信号。
评估:借助反事实分析比较传统仅用(X_W)模型与集成替代数据的去偏模型,确保后者在各保护阶层均减少歧视。
该框架属于“基于模型”的监督学习,区别于当前主流业界“无模型”的黑箱收敛方法,为公平机器学习提供了系统化的理论基础和方法工具。,4]
作者在公开的国家抵押贷款调查(NSMO)数据集上测试所提去偏算法。该数据包含保护属性(种族)和违约结果,数据集经过预处理,分为三种模型:
采用LightGBM工具,采用80/20训练测试分割和5折交叉验证,指标使用ROC/AUC。实验进行了30次不同随机种子的重复,保证统计学显著。
实验结果显示,尽管 Awareness模型准确率最高,Unawareness模型准确率显著降低,但Counterfactual模型成功恢复了绝大部分准确率且实现了公平性。误差主要来自误将黑人样本视作白人带来的信息损失,但可被算法利用数据解偏带来的整体效用提升所抵消。
描述: 展示了机器学习黑盒模型与数据、保护属性、决策及结果的关系框架,保护属性(A)、输入数据(X)进入模型,产出决策(D),进而影响事件结果(Y)。
解读: 图示简洁明了地说明了保护属性(A)在模型中的作用路径及其潜在干预点,为后续构建因果模型奠定基础。
联系文本: 支持报告对 supervised ML的抽象定义,为转换为CBN提供理论基础。
描述: 图2为简单三节点CBN,节点为 (A\to W\to Y),只考虑保护属性、中介变量和结果;图3则增加传统数据 (X_W)与决策(D)变量,展现了现实的信用评分过程。
解读: 图3体现传统数据用于测量信用中介变量,保证(X_W)对(A)无直接代理性,体现“公平通过无知”中保护属性不影响决策的原则。
联系文本: 为理解传统信贷评分的公平模型提供结构图,支持无意识公平的因果合理性分析。
描述: 图4通过红色路径展示异色待遇,即(A)直接影响决策(D)导致明显歧视。图5展示差别影响,(A)间接通过数据偏差影响(D),导致隐性歧视。
解读: 两图清晰区分法律定义的两种不同歧视机制,便于理解算法设计防范目标。
描述: 图6增加人口统计变量(Z),同时有合法路径(Z\to W)和非法代理路径(Z \leftarrow A \to W)。图7展示代理变量(P),通过非法路径但无合法因果关联。
解读: 明确区分合法、非法因果路径,指导特征选择,避免非法代理变量对模型造成偏见。
描述: 图8展示了替代数据(X_Z)引入后模型中激活的非法代理路径,导致显性歧视。图9则引入了固定默认保护属性(A=a')的干预,阻断该路径实现去偏。
解读: 此处是理论模型的突破口,算法设计的因果干预正是基于此闭合非法代理路径,符合法律合规要求并提升准确性。
描述: ROC/AUC曲线对比三模型整体、白人和黑人群体的性能。警示性地显示去偏模型在准确率上几乎接近包含种族的Awareness模型,远优于无知公平(Unawareness)模型。
解读: 图表证明了因果去偏方法能在公平与准确间取得优异平衡,且对黑人与白人群体均表现改善,体现了算法的有效性与公平性。,2,3,4]
本文非金融资产估值报告,不包含典型的财务估值方法。但报告的“估值”可理解为针对算法性能和公平性的评价,即准确率(ROC/AUC)与公平性指标。
使用的评估方法:
基于前述,报告中区分三种模型(Awareness, Unawareness, Counterfactual),Counterfactual模型拥有几乎与包含保护属性的模型相当的准确率,同时通过因果干预消除了非法代理,兼顾公平与准确。
算法训练和验证采用80/20拆分加5折交叉验证,保证统计的稳健性和泛化能力。通过30个随机种子重复实验增加信度。
报告重点警示以下风险点:
报告虽未详细展现具体缓解策略,但提示了通过持续数据清洗(如正则性检查与值剔除)、开源代码验证复现和政策讨论推动法律改进,是未来解决方案方向。,5]
整体报告结构清晰,逻辑紧密,将理论模型紧密结合政策和实践,兼具学理性和实操导向,体现了跨学科的深度融合。
本报告详细阐述并验证了一种基于因果贝叶斯网络和Pearl因果推断理论的去偏算法,专注于解决替代数据在信用评分中的代理偏差与非法歧视问题。核心发现如下:
各关键图表(尤其图3、图8-10)系统而直观地呈现了模型架构、代理路径与干预措施,以及在不同模型下的性能对比,贯彻了论点与结论,强化了报告的科学性与可信度。
综上,该报告为金融信贷领域采用因果推断消除算法歧视提供了系统理论框架、可操作算法及初步实证支撑,具备较高的学术和实践价值,值得业界和监管部门深入关注和探索应用。
本报告将复杂的因果推断理论高效转化为信贷领域的公平算法,为传统“无知公平”和简单统计去偏方法提供了突破性的技术补充,构建了可测量、可控、在理论上具有法律防护意识的信贷评分体系。实证结果表明其在保护少数族群公平性方面效果突出,同时保持了较强的准确率表现。尽管存在政策和数据应用层面待解的挑战,报告提出的方法及理念为未来智能金融产品的公平设计提供了重要方向与实践路径。
备注:所有结论均在报告原文明确或隐含体现,文中各结论均附带相应引用页码标识,严谨保障追溯性与参考性。
2410.22382.pdf