本文提出基于线性再校准的评分分解推断框架,将预测表现拆分为误校准、辨别能力与不确定性,并针对均值和分位数预测建立稳健的渐近推断与比较检验方法。模拟结果表明,在差异主要来自单一分量时,新检验较传统Diebold–Mariano检验具有更高检测能力;通胀调查应用显示专业预测者与消费者校准度相近,但专业预测者辨别能力显著更强;金融风险应用则表明,高频信息模型具有更强辨别能力,而历史模拟法虽校准较好却预测信息含量弱,单纯依赖校准的银行监管可能遗漏重要风险。
论文的核心观点是:仅比较预测的平均损失或平均评分,无法解释一个预测为什么优于另一个预测;仅进行校准或回测,也可能把具有较强信息含量、但存在一定系统偏差的预测错误地判定为“不合格”。作者因此把预测表现分解为三个部分:误校准(miscalibration,MCB)、区分能力(discrimination,DSC)和不确定性(uncertainty,UNC),并首次为这些分解项构建渐近统计推断和比较检验。研究尤其强调,在金融风险管理中,校准良好的模型未必具有较强的预测能力,而传统银行监管中的VaR回测主要关注校准,可能忽视模型对风险状态变化的识别能力。
报告传达的最重要信息可以概括为三点:
作者首先区分了两种预测评价方法。
第一种是基于评分函数(scoring function)的预测比较。给定真实结果 (Y_t) 和预测值 (X_t),评分函数 (S(X_t,Y_t)) 用一个数衡量预测质量,通常是评分越低越好。对于均值、分位数或完整概率分布,需要使用与目标函数相一致的严格一致评分函数。所谓“严格一致”,是指在期望意义下,真实目标函数对应的预测唯一地最小化期望评分。因此,评分函数比较的理论基础是:平均评分越低,预测能力越强。,
第二种是校准(calibration)评价。校准关注预测值与实际结果之间是否存在系统性不一致。例如,对均值预测而言,预测值是否等于给定预测信息下结果的条件均值;对分位数预测而言,实际结果落在预测分位数以下的频率是否符合目标概率。经济学中常见的Mincer-Zarnowitz(MZ)回归,以及金融领域的VaR backtesting,都属于校准或预测有效性检验。,
这两种方法评价的是不同性质。评分函数侧重“整体预测表现”,校准检验侧重“预测是否存在系统偏差”。一个预测可以拥有较低平均损失,但因为其信息量丰富、变化较快而出现校准偏差;另一个预测可能非常容易校准,但由于几乎不随市场状态变化,预测信息含量很低。论文的理论贡献,正是建立一个连接这两种评价方式的框架。
作者使用2008年1月1日至2022年1月1日期间的S&P E-mini股指期货日对数收益,比较一天期方差预测和1%VaR预测。预测模型包括:
HAR模型充分利用日内交易信息,GARCH模型主要利用收益率自身的条件异方差结构,HS模型则以历史样本的无条件分位数作为预测,因此三者代表了信息集和模型复杂度不同的预测方式。,
表1的主要结论是:无论是方差预测还是VaR预测,HAR模型的平均评分最低,说明它在整体预测能力上最好;这一优势在HAR与GARCH的比较中通常达到1%显著性水平,但VaR情形下两者的差异是例外。同时,MZ检验却强烈拒绝HAR预测的自动校准,而GARCH方差预测虽然平均评分更差,却无法拒绝校准;HS VaR预测的平均评分最高,但它是唯一一个未被拒绝校准的预测序列。
这构成了论文的关键矛盾:表现最好的模型可能不通过校准回测,表现最差的模型却可能通过校准回测。作者认为,这不是统计检验简单“冲突”,而是不同方法考察了预测质量的不同维度。表1后几列的分解结果表明,HAR模型具有最高的DSC,即最强的区分能力,但同时具有最高的MCB,即最严重的误校准;GARCH和HS的区分能力较弱,却具有更好的校准表现。
表1同时列出了以下内容:
表1的意义不在于单独给出一个“最佳模型”,而是把总体评分拆解为“预测是否校准”和“预测是否携带有效信息”。HAR的优势主要来自DSC,而不是来自MCB;HS的“合规”主要来自低MCB,却伴随极低DSC。因此,传统监管如果只关注校准,可能激励金融机构采用反应迟钝、几乎不随新信息变化的模型。,
作者设原始预测为 (X_{it}),真实结果为 (Y_t),并用包含常数项和预测值的线性回归进行再校准:
[ W_{it}=(1,X_{it})^\top,\qquad X^C_{it}=W_{it}^\top\bar\theta_i. ]
其中 (X^C_{it}) 是线性再校准预测,(\bar\theta_i) 是使期望评分最小的“伪真实参数”。在模型正确设定时,它对应给定预测信息下的条件均值或条件分位数;在模型误设时,它仍然可解释为最佳线性再校准预测。,
总体评分被分解为:
[ S_i = MCB_i - DSC_i + UNC. ]
虽然原文公式在文本转录中部分缺失,但其经济含义明确:
因此,MCB是“预测是否系统性偏离目标”的度量,DSC是“预测是否能够利用信息区分不同结果状态”的度量,而UNC是不可归因于预测者的基准噪声。
这一分解的重要逻辑是:再校准只使用原预测包含的信息,不会增加新的信息。因此,再校准带来的评分改善主要反映校准修正,而再校准预测相对于常数参考预测的额外改善,则体现原预测的信息含量。若 (MCB_i=0),表示线性再校准不能进一步提高评分;若 (DSC_i=0),则表示再校准预测与常数参考预测没有差异,预测没有线性区分能力。
对于均值预测,严格一致评分函数属于Bregman类。常见的平方误差对应 (\phi(x)=x^2),而金融波动率预测常用的QLIKE评分也属于该类。QLIKE特别适合正值的方差或波动率预测,并且在使用不完美波动率代理时具有较好的理论性质。
对于分位数预测,作者采用广义分段线性损失,最常见的特例是check loss:
[ S_\alpha(x,y)=(1{y\le x}-\alpha)(x-y). ]
当预测1%VaR时,(\alpha=0.01);当预测5%VaR时,(\alpha=0.05)。该损失在预测值与实际值相等处通常不可微,这使得分位数预测的渐近推断比均值预测更加复杂。,
作者没有采用完全非参数的等调回归、核回归或分箱方法作为基准,而是选择线性均值回归或线性分位数回归,主要基于四个原因:
作者并未宣称真实的再校准关系必然线性。论文的解释是:在理想的自动校准情形下,线性关系本来就是精确的;如果担心非线性,可以在 (W_{it}) 中加入预测值的高次项。因此,本文提出的是“线性化的评分分解”,而不是对任意非线性校准关系的完整刻画。
论文理论上的一个关键难点是:MCB和DSC都是非负参数,因此其真实值可能处在边界0,也可能严格大于0。
当 (MCB_i>0)、(DSC_i>0) 时,估计分解项的联合渐近分布为正态分布。其不确定性主要来自样本平均评分相对于总体期望评分的抽样波动,而线性再校准参数的估计误差在一阶渐近展开中因正交性而消失。这意味着即使再校准回归存在模型误设,比较检验仍不需要估计特别复杂的误设协方差结构。,
当 (MCB_i=0)或(DSC_i=0)时,统计量处于非负边界,不能继续使用普通正态近似。对于光滑评分函数,作者证明相应的 (T\widehat{MCB}) 或 (T\widehat{DSC}) 收敛到广义卡方分布;对于check loss这类非光滑评分函数,则改用分位数版本的MZ检验,即VQR检验,并采用对模型误设稳健的协方差估计。,
这一区分在实际应用中非常重要。例如,“无法拒绝零误校准”并不等同于普通正态统计量恰好接近零;它需要考虑参数位于边界时不同的极限分布,否则p值可能错误。
定理3.2证明了有限样本下:
这个结果依赖于再校准估计必须通过与分解相同的评分函数进行全局M估计,并且再校准模型同时包含常数项与原始预测值,即至少能够嵌套“常数线”和“恒等线”。若采用某些没有这种嵌套能力或不是通过全局评分最小化得到的模型,非负性保证可能失效。
作者分别构造了:
对于两个预测的等MCB或等DSC假设,由于两者可能一个处于零边界、另一个处于正值区间,作者采用结合intersection-union与union-intersection原则的混合p值方法。该方法较为稳健,但代价是可能保守,尤其在边界情形下会降低检验的拒绝率。,
传统DM检验可以看作对总评分差异的检验,即将MCB差异和DSC差异合并在一起。因此,如果总评分差异由某一个分解项主导,专门针对该分解项的检验可能比DM检验更有检测力,因为它不必承受另一个分解项带来的额外噪声。,
表2整理了多种VaR回测方法,列出各自的原假设、检验方式以及它们在条件校准框架中的对应关系。其核心思想是:不同VaR回测并不是完全不同的工具,而是通过不同的信息集或协变量,检验不同强度的条件校准要求。,
例如,无条件覆盖率检验主要看超越VaR的频率是否接近目标概率;Christoffersen类条件覆盖检验进一步考虑超越事件是否独立、是否存在聚集;基于分位数回归的MZ检验则可以把VaR本身和其他协变量作为再校准变量。作者由此说明,VaR回测实际上只考察预测与实际损失之间的某种校准关系,并不自动衡量预测是否具有足够的信息识别能力。,
表3给出12种均值预测模拟参数化,分别控制两个预测者的MCB和DSC是否相等、是否为零以及差异如何随参数 (k) 变化。表4则给出4种分位数预测参数化,覆盖等误校准、一个预测完全校准、等区分能力以及一个预测没有区分能力等情形。,
这些表格不是经验数据表,而是用于检验统计方法的“实验设计表”。它们的作用是将“MCB差异”和“DSC差异”人为分离。例如,一种设计令两个预测的MCB相同但DSC不同,从而检验DSC检验能否识别差异;另一种设计令DSC相同但MCB不同,从而检验MCB检验是否具有足够功效。,
均值模拟的DGP包含多个AR(1)预测变量,AR系数设为0.25,两个预测者分别掌握部分独有信息并共享部分信息。这样设计可以产生既不完全相同、又不完全共线的预测,并允许研究“遗漏相关变量”“错误赋予变量权重”和“截距偏误”分别如何影响MCB和DSC。,
图1展示在5000次Monte Carlo模拟、样本量 (T=500)、名义显著性水平10%下,蓝线为等MCB检验,橙线为等DSC检验,灰色虚线为DM检验。,
图1上半部分a)考察MCB检验:
图1下半部分b)考察DSC检验:
图1还表明,基于IU/UI原则的检验在零假设下可能保守,但随着真实差异扩大,统计功效较强。这种“保守的规模控制换取稳健性”的权衡,是该方法实际使用时需要接受的代价。
图片来源:
图2把模拟推广到(\alpha=0.01、0.05、0.10、0.25、0.50)五个分位数水平。蓝色为MCB检验,橙色为DSC检验,灰色为DM检验。,
图2显示:
图片来源:
正文说明图3将SPF和Michigan调查预测与实际通胀结果并列展示,但所提供文本中没有附上图3的图片路径,因此无法逐点复原其视觉细节。图3的作用是给出两类调查预测随时间的变化,并与实际四季度CPI通胀增长率进行直观比较。
图4左侧用MCB-DSC平面展示两个调查预测,并以等评分线表示平均平方误差。坐标含义是:横轴MCB越低越好,纵轴DSC越高越好,因此理想位置接近左上角。图中SPF大致位于MCB约0.36、DSC约0.51的位置;Michigan大致位于MCB约0.45、DSC约0.07的位置。也就是说,SPF在区分未来通胀高低方面明显更强,但两者的校准程度相近,Michigan甚至并未显示出更低的MCB。
右侧检验结果显示:
因此,传统总评分比较可能得出“专业预测者没有显著优于消费者”的结论,但分解检验揭示出:专业预测者的优势主要不是表现为整体损失显著更低,而是表现为更强的信息区分能力。作者将这一结果与专业预测者拥有更丰富信息和经验联系起来。,
图片来源:
图5分别使用QLIKE和平方误差评价HAR、MIDAS、GARCH和GJR-GARCH四种方差模型。左图同样以MCB为横轴、DSC为纵轴,并以等评分线表示平均评分;右图给出零MCB、零DSC的p值以及模型之间的两两差异。,
QLIKE面板的主要模式是:
平方误差面板总体结论相似:HAR和MIDAS在DSC方面明显优于GARCH,GJR-GARCH处于中间位置。图中大多数总评分和DSC差异具有较强显著性,而MCB差异并不总显著,说明RV模型的优势主要来自信息区分能力,而不是简单的平均校准改善。,
图片来源:
表5列出了1%和5%VaR下七种标准回测的p值、Basel交通灯分类以及实际命中频率。其总体信息是:在1%水平,HS方法看起来校准最好,而其他模型在多个回测中更容易被拒绝;在5%水平,传统条件校准证据较弱或不一致,HS的表现则明显恶化。,
这张表的关键局限也正是论文的研究动机:命中频率及其独立性只回答“超越事件是否发生得符合预期”,无法回答“VaR是否能根据市场状态及时调整”。因此,一个VaR序列可能因为变化很小而容易满足无条件覆盖率,却不能在危机来临时迅速降低预测阈值。,
图6展示1%和5%VaR的check loss及其分解。
在1%VaR面板中,HS的MCB最低、校准最好,但DSC远低于HAR、MIDAS、GARCH和GJR-GARCH;其他四种模型的DSC大致位于1.5至2附近,而HS约为0.5左右。相应的总check loss中,HS显著劣于其他模型,且其与其他模型的差异主要由DSC差异驱动。,
在5%VaR面板中,HS的MCB明显高于其他模型,说明其条件校准问题在较不极端的尾部概率下暴露出来;HAR和MIDAS的DSC最高,GJR-GARCH和GARCH居中,HS最低。由于5%尾部事件更频繁,统计噪声相对较小,其他模型之间的排序和显著性更加清晰。
这组图最直接地支持论文对银行监管的批评:HS在1%水平通过更多传统回测,并不意味着它是更好的风险预测模型;它可能只是因为反应迟缓、预测变化有限而较容易满足覆盖率条件。若把校准等同于预测质量,就会忽视风险模型的信息含量。
图片来源:
均值模拟假设结果由多个AR(1)信号和独立正态误差共同生成,AR系数固定为0.25;两个预测者拥有不同的信息集,并通过参数 (k)连续改变校准和区分能力差异。,
分位数模拟使用纯位置模型,使预测信息影响条件均值并通过正态分布生成相应分位数。表4的最后一种参数化需要数值选择截距 (\xi_0(k,\alpha)),以尽可能维持两个预测的MCB相等,这一点使其更适合研究DSC检验,但也意味着该设计部分依赖数值校准而非完全解析构造。,
通胀应用使用1982年第三季度至2020年第四季度共154个季度,排除了COVID-19后高通胀阶段;SPF预测通过一至四季度预测的平均值构造,以匹配Michigan调查的未来12个月通胀口径;实际值使用2023年第三季度数据版本计算。,
金融应用使用2000年至2022年的S&P 500 E-mini期货数据,前期2000年至2007年用于固定窗口估计,2008年至2022年得到3617个一天期预测。方差模型包括GARCH、GJR-GARCH、HAR和MIDAS;VaR还加入250日历史模拟法。HAR和MIDAS使用5分钟已实现方差,因此理论上拥有相对丰富的信息集。,
图C.1展示为保持 (MCB_1(k)=MCB_2(k)) 而数值求解的(\xi_0(k,\alpha))。在1%、5%、10%和25%分位数下,截距总体随(k)上升;在中位数情形,其走势方向不同,说明为维持MCB相等所需的截距调整依赖分位数水平。,
图C.2展示不同(\alpha)和(k)下的总体MCB、DSC。它验证了表4的设计:某些情形下MCB随(k)增加而上升但DSC保持不变;另一些情形下DSC随(k)增加而上升但MCB保持相等。图形证明模拟确实能够分别控制两个分解维度。,
图片来源:
图D.1绘制12种均值模拟设定下MCB和DSC随(k)的变化。其作用是验证表3的参数化没有偏离预期,例如等MCB曲线是否重合、一个预测的MCB是否保持为零、DSC是否按设定保持相等或逐渐分离。
图片来源:
图D.2展示2019年后日收益、已实现方差、方差预测以及1%和5%VaR预测。2020年疫情冲击期间,实际波动率突然上升,HAR、MIDAS、GARCH和GJR-GARCH都出现相应的预测调整,但调整幅度和速度不同;HS VaR呈现明显阶梯状,因为它基于过去250日样本分位数,更新相对迟缓。,
图片来源:
图D.3显示通胀预测的再校准残差与预测值之间的非参数平滑关系,蓝色曲线及其95%置信带大部分覆盖零线,因此没有明显证据表明线性再校准模型错误。,
图D.4对方差预测进行同样诊断,并对横轴使用对数变换。HAR、MIDAS、GARCH和GJR-GARCH的残差平滑曲线大体围绕零线,虽然在高预测值区域置信带变宽、样本更稀疏,但作者仍认为没有充分证据反对线性设定。,
图D.5对VaR预测使用广义分位数残差,即识别函数 (1{Y_t\le X_t}-\alpha)。在1%和5%VaR下,各模型的非参数平均曲线总体接近零线,支持线性分位数再校准作为经验分解工具。不过,尾部区域观测稀少,置信带较宽,因此“没有证据反对”不应理解为“已经证明线性关系完全正确”。,
图片来源:
第一,线性再校准虽然稳定并且便于推断,但它只捕捉线性校准关系。作者允许加入多项式项,但正文的主要应用仍以低维线性模型为主。因此,如果真实校准曲线具有明显非线性,而样本又不足以支持高阶扩展,MCB可能只是“线性误校准”,而不是完整意义上的误校准。,
第二,分解项的非负性并非对任意回归方法都成立,而是依赖于使用同一评分函数进行全局M估计,并且再校准模型包含常数预测与原预测。这一条件在实现中需要严格遵守,否则分解项可能出现负值,进而失去作者赋予它们的诊断含义。
第三,等MCB和等DSC检验使用的混合IU/UI方法在零边界下可能保守。模拟确实显示名义10%水平下拒绝率经常低于10%,因此实际研究中可能存在统计功效不足的问题,尤其是在极端分位数和样本量有限的情况下。, ,
第四,金融应用只使用单一资产——S&P 500 E-mini期货——和一个较长但特定的样本区间。疫情冲击提高了模型区分能力差异的可见性,但该结果是否能推广到利率、外汇、信用资产或其他市场,还需要更多资产和危机阶段验证。,
第五,作者关于“当前银行监管存在严重缺陷”的表述具有较强政策判断色彩。实证结果确实显示HS可能通过1%VaR校准回测但具有较低DSC,但这并不等同于已经完整评估Basel资本制度,因为真实监管还包含资本缓冲、压力测试、流动性约束以及模型治理等其他环节。更谨慎的结论应是:论文揭示了以校准为中心的回测体系可能遗漏重要信息,而不是单凭一个样本就证明整个监管框架无效。
第六,论文研究的是已经生成出来的预测序列,而不是模型参数本身的伪真实预测能力。作者明确区分了本文方法与West式模型比较:若希望评价两个估计模型在重复估计过程下的理论预测能力,则需要把参数估计噪声纳入新的渐近框架。
这篇论文的主要贡献不是提出一个新的预测模型,而是提出一种新的预测结果诊断体系。它把传统平均评分拆成误校准、区分能力和不确定性三部分,并为这些部分建立可比较、可检验的统计推断。其方法以线性均值回归或分位数回归为再校准工具,兼容平方误差、QLIKE和非光滑check loss,在模型可能误设、数据存在时间依赖的情况下,使用HAC协方差估计进行推断。,
表1和图6共同说明:一个模型可以因为区分能力强而具有更低的总评分,却因为校准偏差而被传统回测拒绝;另一个模型可以因为预测几乎不变而容易通过校准,却缺乏对危机和风险状态变化的响应能力。图4进一步表明,SPF与Michigan调查总体平方误差差异不显著,但SPF的区分能力显著更强。图5则显示,使用高频已实现方差的HAR和MIDAS模型主要通过更高DSC获得方差预测优势。图1和图2证明,在差异确实由单一分解项驱动时,MCB或DSC专门检验可以比DM总评分检验具有更高检测力。, , ,
作者最终主张,预测评估不应只问“哪个预测更好”,还应问“它为什么更好”。在金融风险管理中,校准、区分能力和总体评分应被同时报告;在宏观经济预测中,专业预测者的优势可能表现为更强的信息识别能力,而不一定表现为总损失的显著下降。报告没有传统金融研究意义上的评级或目标价,但其总体学术立场十分明确:应将评分函数比较与校准回测结合起来,并通过MCB-DSC分解识别预测质量的来源。,
2603.04275.pdf