本报告系统介绍有序回归损失函数的原理及其在多因子选股中的应用价值,强调相比传统的分类和回归方法,有序回归融合两者优点,追求“模糊的正确”以提升投资决策质量。。实证采用周频中证500指数增强模型,基于全连接神经网络和残差图注意力网络两种基模型,logistic有序回归损失函数显著提升Rank IC、多空收益及年化超额收益,且与加权MSE集成后表现进一步增强,信息比率优势明显。此外,研究通过参数敏感性测试指出,logistic损失优于exponential和hinge,加权方式和分类数对效果影响有限,预测值集成优于组合权重集成,证明集成方法有效提升模型稳定性与收益表现。
分类与回归任务在选股中的局限:分类弃用顺序和距离信息,回归对异常值敏感且易出现“精确的错误”现象,即预测误差虽小但方向错误。
有序回归理论框架:将K分类问题分解为K-1个二分类任务,累加对应二分类逻辑损失函数,能够兼顾类别顺序及估计连续收益率的性质,核心损失函数支持logistic、exponential、hinge等多类形式。
有序回归损失函数特点:相比均方误差(MSE)损失,更加平滑且对“模糊区域”的预测不会严厉惩罚,体现“模糊的正确”理念,有助于减少金融噪声影响。
量化模型应用及网络架构:
有序回归在中证500周频增强模型中的实证表现(一):
有序回归在中证500周频增强模型中的实证表现(二):
损失函数效果比较:logistic > wmse > hinge ≈ exponential,logistic损失函数既保留模型性能,又缓解异常值影响,故为首选.
参数敏感性测试:
子模型相关性及集成优势:
有序回归优势与传统多分类比较:
结论:
报告标题: 量化如何追求模糊的正确:有序回归
发布机构: 华泰证券股份有限公司华泰研究
发布日期: 2022年10月11日
研究主题: 基于机器学习中的有序回归损失函数方法,优化多因子选股模型(中证500指数增强模型)的性能与超额收益表现
本报告是华泰研究所于2022年10月发布的深度研究报告,主题围绕机器学习中的有序回归损失函数在多因子选股模型中的应用与表现。作者为林晓明、李子钰、何康博士,皆为资深的金融研究和量化模型专家。
核心论点:
该研究希望传达的主要信息是:应用机器学习中的有序回归损失函数可有效提高量化选股模型的实际投资收益与风险调整表现,是选股技术进阶的一个重要路径, 2, 3, 20]。
报告开头指出,传统机器学习在选股上多采用分类(“涨”“跌”)或回归(预测连续收益)任务,但各有其固有限制:
图表1对比了两次等误差但方向截然不同的预测,强调回归忽略方向性差异的弊端。报告首次提出有序回归作为解决方案,其核心思想是在保留顺序信息的同时兼顾投资含义。
有序回归是对传统二分类逻辑回归的扩展,将K分类问题拆解成K-1个二分类子任务,并将对应的损失函数求和,结合了分类的易于优化与回归的连续性特点。
数学表达式详述了有序回归损失函数的构造:
[
loss(f;x,y) = \sum_{k=1}^{K-1} h(sgn(y-c_k)(f(x)-c_k))
]
其中,y为真实值,ck为分类阈值,f(x)为模型输出,h为二分类损失函数(如logistic)。这种结构有效保留了顺序关系和类别间的距离, 4, 5]。
报告详细介绍了二分类逻辑回归的基本原理,包括:
从二分类阈值0推广到多个阈值c1,c2,...,cK−1,结构化损失函数可保持每类间的次序。报告通过多个图表展示概率密度函数和累积分布函数的形状,辅助理解概率估计过程。
结合常见的二分类损失(0-1、logistic、exponential、hinge等),报告分析了各自的数学表达式及特点,分别衬托了它们对异常值的敏感度、可导性及优化便利性。报告中图表展示了损失函数曲线,体现了logistic相对平滑和稳定的优势,exponential对大误差的高度惩罚以及hinge的不可导问题。
扩展到有序回归场景时,这些损失函数叠加呈现更平滑的损失形态,体现“模糊的正确”理念。相比MSE,有序回归损失在预测值在一定范围内不轻易惩罚,容忍微小偏差,减少噪音过拟合,特别是在金融数据噪声极高的情况下效果突出。
以周频中证500指数增强模型为基础,将原有加权MSE损失替换为不同形式的有序回归损失,基模型采用全连接神经网络(nn)和残差图注意力网络(gat_res)两种神经网络架构。参数设计包括:
网络结构图表清晰展示了基模型输入、层级及输出设计,因子池涵盖42个经典基本面和量价因子, 9, 10, 11]。
报告讨论了有序回归与本金加权wmse的相关性,指出预测值相关度中高(nn约0.95,gat_res约0.83),超额收益相关系数也在0.7-0.9区间,两者模型之间存在差异性,有利于模型集成提升表现。
有序回归的优势在于:
本报告主要聚焦于模型表现和选股策略层面,没有涉及具体财务估值模型(如DCF、市盈率倍数等),因此估值分析不适用。
报告在风险提示部分指出几点关键风险:
整体风险提示比较充分,表明作者对模型限制有清醒认知并公示以示投资者注意, 20]。
本报告系统介绍并验证了机器学习中的有序回归损失函数在多因子量化选股场景中的应用及优势。相比传统分类和回归,报告强调有序回归通过兼顾收益的顺序和距离信息,体现“模糊的正确”理念,有利于减轻异常值带来的负面影响及过拟合风险。
基于周频中证500增强模型的丰富实证测试表明:
图表充分配合文字,数据清晰展现长期累计超额收益、最大回撤、Rank IC提升及模型预测相关度,形成逻辑闭环支撑研究结论。
同时,报告对模型风险进行了诚恳披露,包括历史规律失效风险、过拟合可能性、调仓频率偏高及交易假设理想化等,提示投资者合理评估模型有效性范围。
总结而言,本报告不仅创新性地将有序回归理念引入量化选股,而且在多个步骤详细验证其优越性,为量化投资领域提供了具有理论与实践兼备的先进方法论,是对于机器学习选股方法的重要贡献, 20]。
Rennie, J., & Srebro, N. (2005). Loss Functions for Preference Levels: Regression with Discrete Ordered Labels. IJCAI.
(全文引用页码见每段末尾[page::X],含图表引用)
20221011-华泰证券-华泰证券金工深度研究:量化如何追求模糊的正确,有序回归.pdf