本报告基于遗传规划选股因子挖掘,提出因子互信息和多头超额收益两种新适应度指标,增强了因子捕捉非线性收益关系的能力。通过三次方回归残差法和多项式拟合法改进非线性因子应用,并引入交叉验证环节控制过拟合。测试包括20多个因子,分层测试显示互信息因子呈现“中间层收益高,两端低”特性,转换方法改善因子与收益线性关系,验证了遗传规划在挖掘多样化高效选股因子上的潜力,为多因子机器学习模型提供基础支持。
本报告基于华泰证券早期报告《基于遗传规划的选股因子挖掘》(2019.6),提出三大改进方向,旨在增强遗传规划挖掘因子的能力。具体包括:
报告最后展示了20多个改进后挖掘出的选股因子,并对其性能进行了详尽的测试和分析,指出遗传规划具备挖掘丰富非线性因子的潜力,对基于机器学习的多因子模型建设具重要意义。
遗传规划原理及流程
遗传规划通过模拟自然选择机制,随机初始化公式群体,根据适应度指标选择表现优良的“父代”进行遗传变异,迭代进化出更优的选股公式(见图表1)。
改进一:新的适应度指标
以往仅使用Rank IC(线性相关性)为适应度,报告提出引入互信息——该指标捕捉因子和收益间的非线性依赖。互信息公式基于概率密度函数定义,能量化两个变量共享信息的多少,适用于发现线性相关性无法捕捉的复杂关系(图表2示例直观对比F检验与互信息的能力)。此外,引入“多头超额收益”作为适应度,利用分层回测组合的年化超额收益衡量因子实用价值,兼顾投资者对实战收益的关注。
改进二:非线性因子使用方法
线上分为两类:
1)因子合成时就加入机器学习模型拟合因子与收益的非线性映射。
2)对单因子进行非线性变换,转换为线性化因子,具体技术为:
改进三:交叉验证控制过拟合
为防止因遗传规划持续优化训练集表现而导致的过拟合,加入数据集划分为训练集和验证集,对每代生成因子同时在验证集计算适应度,监控验证集适应度收敛状态(图表4),在收敛时终止进化过程,确保因子稳健性。
测试设计
统计表现
以互信息为适应度,训练集和验证集适应度均呈现递增且趋于收敛趋势(图表7),相较以往方法,加入交叉验证有效控制过拟合。
分层测试法解释
分层测试打破回归法线性假设,划分因子暴露度层级,观察中间层因子的收益表现,挖掘非线性策略效能。
配置月度换仓,多空组合收益基于Top层减Bottom层股票等权收益,交易费假设单边0.15%。
多因子挖掘表现
遗传规划基于互信息指标挖掘的20个Alpha因子整体呈现中间层组合年化超额收益更高的非线性特征(图表8,图表9)且因子间相关性整体不高(图表10),为实现因子的多样性及提升组合稳健性提供保证。
因子案例详细分析
以Alpha1至Alpha6为例:这些因子多基于交易量、换手率、成交价相关的时序协方差反向值构造。原始非线性因子对应收益表现呈现非单调特征(最高正收益出现于中间层),说明其非线性关系明显;使用三次方回归残差法的转换处理略有改善单调性,但不完全;而多项式拟合法转换后,多数因子收益分层表现出严格单调递增或递减趋势(图表11-46),极大提升了因子线性可利用性及解释性。
两种非线性转换方法评估
概括来说,三次方回归残差法实现简单但效果相对较差,多项式拟合法效果更佳但每个因子需单独拟合,缺乏通用性。
结论
风险提示
报告强调该类因子基于历史数据构建,未来若市场结构变化,因子有效性可能失效。因子多为非线性复杂表达,解释性弱,应用需谨慎。测试结果仅适用于A股市场,不能简单套用至其他市场或股票池。
说明遗传编程从随机公式开始,经过不断计算适应度,选出生存的父代公式并进化产生子代,循环迭代直到收敛选出最终公式。
体现遗传规划通过模拟自然选择,自动寻找复杂公式表达适合的数据特征,适合挖掘复杂股价因子。
通过三个特征变量[X1,X2,X3]与目标y配对分析,证明互信息能发现y与X2间的非线性强关系,而F检验仅发现y与X1的线性关系,X3无关。
突出互信息对非线性关系的灵敏度,为后续非线性因子挖掘提供理论支持。
横轴为原始规模因子暴露,三条曲线分别是原始因子、其三次方及经过回归残差转换的非线性规模因子(NLS)。
显示NLS峰值聚焦在中端,不同于单调原始因子,实现了有效非线性变换,有助捕捉中等规模股票的特有收益特点。
详解遗传规划迭代中同时在训练集训练和验证集计算适应度,通过观察验证集适应度曲线收敛来终止迭代。
此设计显著减少过拟合风险,提升因子稳健性。
展示随着遗传世代增加,训练与验证集上的平均适应度同步提升并趋于平稳,交叉验证有效防止了训练集适应度过拟合。
验证本报告改进方向3有效运行。
多达40余张图详尽显示了代表性Alpha因子的表达式、相关性矩阵和分层测试结果。
各因子大多呈现“中间层组合具最高收益”的非线性表现。
非线性转换(图表13、14等)使因子分层收益表现更线性化和单调化,有利量化模型利用。
多头超额收益指标下筛选的Alpha21至Alpha24同样展现稳健回报表现。
相关性矩阵表明挖掘出的因子多样、互补,具备构建有效多因子组合可能。~29]
本报告内容为选股因子挖掘方法学展示,无直接企业或股票个体估值,未涉及DCF、市盈率等传统估值方式。
因子依赖历史市场规律,未来市场结构变化可能导致因子失效。
挖掘出的因子过于复杂,缺乏明确经济解释,可能影响投资者和量化策略应用的理解和信心。
报告所测试仅限于全A股股票池,跨市场及小样本验证有限,推广能力受限。
整体因子挖掘基于机器学习方法,黑箱特性需谨慎对待。
应用因子时务必结合多因子稳定性和风控框架。
报告在改进互信息适应度指标时强调了非线性因子的优势,但相应地,非线性因子复杂性及解释性下降可能带来策略调整难度和过拟合风险。
多项式拟合法虽转换效果较优,但需要针对每因子单独拟合回归参数,模型泛化能力依旧受限,实操中维护成本较高。
报告核心测试均为A股全样本回测,缺乏行业或时间段分拆的细化分析,以验证因子一致性。
对多头超额收益作为适应度指标的因子,报告虽展示了多个优良因子,但对于极端行情下的稳定性分析不足。
交叉验证有效缓解过拟合,但报告未详述数据划分比例和验证集规模对模型效果的敏感性。
总体而言,报告基于严谨测试方法论述,但因子“黑箱”特性仍是未来研究和实操应用中的一大挑战。
本报告围绕如何通过遗传规划技术进一步挖掘金融市场中更具非线性特征的选股因子提供了系统的理论、方法和实证研究。通过引入互信息作为适应度指标,能够识别出传统线性方法难以捕捉的复杂市场规律。非线性转换手段(尤其是多项式拟合法)有效将非线性因子线性化,提升因子在实务中多因子模型的适用性。交叉验证在遗传规划迭代中融入,显著降低过拟合,提高因子稳健性和泛化能力。
大规模因子挖掘及分层测试结果证明,多数因子呈现“中间层收益优于两端”的非线性分布,这一发现为机器学习及智能选股模型利用非线性信号打开了新的空间。多头超额收益适应度指标同样让用户能够发掘实操中更直接产生正向收益的因子。
图表丰富且详实,尤其分层测试表现突出展示了非线性因子的优势和转换手段的改进效果。因子相关性分析保障了组合构建多样性。报告最后的风险提示明示了该类模型基于历史数据,带来的失效风险及复杂性。
总体来看,本文在遗传规划选股因子挖掘领域做出了显著创新和突破,方法论和实证结果为后续学术研究及实务应用提供了重要参考价值和技术路径。
(对应多张趋势图展示因子分层净值增长曲线及年化超额收益率柱状图)
本分析忠实反映报告信息,详尽解读其理论架构、关键数据及实证结果,力求为研究人员和投资实务者提供深入理解及应用参考。
【华泰金工】人工智能23:再探基于遗传规划的选股因子挖掘.pdf