本文从分布转移视角分析二元概率分类器校准问题,提出并测试了基于协变量漂移后验漂移(CSPD)和基于ROC的准矩匹配(QMM)两种新型校准方法。通过例证显示,QMM方法在信用风险管理等领域的保守性评估中表现良好,能有效处理目标先验概率不同导致的校准问题 .
| 方法 | mean(probs) | AUC | mean(sqrt(probs)) |
|---|---|---|---|
| Source | 0.010 | 0.802 | 0.084 |
| Capped scaling | 0.050 | 0.950 | 0.132 |
| Label shift | 0.060 | 0.930 | 0.160 |
| FJS | 0.050 | 0.932 | 0.142 |
| Platt scaling | 0.050 | 0.802 | 0.179 |
| ROC QMM | 0.049 | 0.799 | 0.191 |
| 2-param QMM | 0.050 | 0.802 | 0.191 |
| Logistic CSPD | 0.050 | 0.803 | 0.192 |
| Normal CSPD | 0.050 | 0.802 | 0.192 |
——《Recalibrating binary probabilistic classifiers》详细解读
核心论点及目标:
作者围绕二元概率分类器在“训练数据分布”与“测试数据分布”不一致(即分布漂移)情况下,如何根据测试集的目标先验概率对分类器输出进行合理的重新校准进行研究。重校准的核心难点是,满足目标先验概率的变换方式非唯一,且如何选择合理保守的校准方法以避免模型过度乐观是关键。本文作者提出并对比研究多种校准方法,特别引入“parametric covariate shift with posterior drift (CSPD)”和“ROC-based quasi moment matching (QMM)”两种新方法,论证基于AUC(曲线下面积)性能不变假设的校准方法在信用风险等领域表现更为稳健和保守, , , , , 。
关键论点:
机器学习中,二元概率分类器通常是训练于某个数据分布(P)上,但实际应用到测试数据分布(Q)时,二者往往不一致。这种分布不一致称为数据集漂移(dataset shift)。当测试数据的标签缺失,只知道目标正类的先验概率时,如何调整训练得到的后验概率以符合目标先验是“重新校准”问题。
支撑逻辑:
复杂概念说明:
后验概率 (\eta_P(X) = P[Y=1|X]):训练分布下的正类后验概率。
重校准目标是寻找映射(T)使得经过映射后的后验概率期望等于目标先验(q):
[
q = E_Q[T(\eta_P(X))]
]
非唯一性解释了为何仅凭期望匹配难以获唯一解,还需额外保证性能如AUC保持合理, 。
关键论点: AUC作为衡量二分类器判别力的重要指标,是本文设计校准方法的重要参考,尤其在“分布漂移情况下保持AUC”是本文提出新方法的核心思想之一。
说明细节:
本文围绕不同的数据分布漂移假设提出并分析若干校准方法:
4.1 缩放法与封顶缩放——“伸展或压缩的协变量漂移”
直接通过对后验概率乘以常数比例调整,但存在乘积超过1的问题,采用封顶直至1的形式解决,适用于较简单协变量漂移假设,但可能不符合AUC保持原则,过于极端时会过度提升AUC, 。
4.2 标签漂移假设下的校准
假设类别条件特征分布不变,目标特征分布是训练集条件分布的混合。利用Saerens等人的后验修正公式进行调整,这种方法AUC保持不变,是信用风险领域较常用方法,但在现实中目标特征分布结构不满足条件时效果欠佳。
4.3 可分解联合分布漂移(FJS)
FJS假设目标联合分布是训练联合分布乘以可分解权重函数,与标签漂移相比更为一般化,支持更广泛分布漂移情形。校准函数引入参数(\varrho),通过求解一致性方程获得,AUC一般不保持, 。
4.4 协变量漂移含后验漂移假设(CSPD)
作者提出的拟新方法,假设目标后验概率可由训练后验概率通过严格单调函数(T)变换得到,且保持AUC不变(作为第二个约束)。矩匹配法(QMM)被用于确定(T)的参数,具体以参数分布函数如logistic(对数几率)或正态为基础建模。
4.5 基于参数化ROC曲线的QMM
另一种拟新方法,通过参数化ROC曲线(标准正态评分模型产生的ROC)反推出后验概率表达式,并利用迭代方法解决未知负类分数分布,结合QMM针对期望和AUC进行双重约束拟合。该方法尤其适合预测分数具有阶梯和离散性质场景。
设置描述:
图表解读:
图1: 展示训练集(Source)和测试集(Target)两种分数的概率分布差异,测试集分布整体左偏,分数更为分散。
图2: 训练后验概率(Source)与8种不同校准方法下测试集后验概率,对数坐标显示。
- 两大类趋势明显分开,一类是“封顶缩放”、“标签漂移”、“FJS”,后验概率曲线陡峭;另一类是各QMM方法,曲线较平缓且更保守。
表格定量分析:
| 方法 | mean(probs) | AUC | mean(sqrt(probs)) |
|---|---|---|---|
| Source | 0.010 | 0.802 | 0.084 |
| Capped scaling | 0.050 | 0.950 | 0.132 |
| Label shift | 0.060 | 0.930 | 0.160 |
| FJS | 0.050 | 0.932 | 0.142 |
| Platt scaling | 0.050 | 0.802 | 0.179 |
| ROC QMM | 0.049 | 0.799 | 0.191 |
| 2-param QMM | 0.050 | 0.802 | 0.191 |
| Logistic CSPD | 0.050 | 0.803 | 0.192 |
| Normal CSPD | 0.050 | 0.802 | 0.192 |
本报告未包含传统意义的“公司估值”部分。此处的“估值”考虑为概率校准函数映射(T)的确定过程,即选择使得后验概率校准满足目标先验和性能(AUC)匹配的参数估计。
报告重点讨论风险体现于实际分布漂移与假设匹配的偏差:
作者没有针对这些风险提供具体机制缓解策略,但建议选用QMM为避免过度自信预测的稳健方案 - , , 。
本文围绕“二元概率分类器的校准”问题,特别是在训练测试数据分布漂移、测试标签完全缺失、仅知测试先验概率的背景下,通过系统的分布漂移模型视角及AUC性能指标引入,展开以下核心发现:
该报告以严谨数学推导和实际金融风险背景为基础,系统比较了多种二元概率分类器的重校准方法,提出并验证了以AUC保持为核心的QMM及CSPD两种创新方法,显著提升了分布漂移情况下模型校准的可靠性与保守性。其理论深度与实证证明使其在信用风险及其它需要风险保守评估的领域具备重要参考价值,值得金融风险模型设计者和机器学习服务信用管理的研究者深入研读和借鉴。
2505.19068.pdf