本报告基于遗传规划技术,提出并改进了因子挖掘模型,重点引入过拟合预防机制,包括早停机制、公式膨胀控制、热启动和父子竞争,有效提升因子表达能力和样本外泛化性能。实证结果显示,改进后的遗传规划因子在沪深300、中证500和中证1000等宽基指数中均表现出较稳定的超额收益,尤其在小市值中证1000指数中样本外年化收益高达26.29%,超额收益回撤水平较低,表明该方法具有较强的选股能力和一定的实际应用价值。此外,报告详细阐述了遗传规划算法的核心迭代流程、变异操作及参数设置,展示了复杂因子表达式与简洁表达式的平衡,揭示了因子改进对投资组合稳定性的影响,助力量化投资因子库的优化与升级 。
报告标题:机器学习与因子(四): 遗传规划: 模型、优化与应用
报告发布日期:2023年12月22日
作者:陈奥林(执业证书号S1230523040002)
发布机构:浙商证券研究所
主题:遗传规划算法在A股市场的选股因子挖掘及其应用研究
该报告针对遗传规划基于机器学习的因子挖掘与优化方法,重点分析了遗传规划算法改进、过拟合预防机制及其在A股全市场及主流宽基指数选股中的应用效果。核心观点透露,通过引入过拟合预防机制的遗传规划因子挖掘模型,单因子回测结果提升,因子的样本外泛化能力得到显著加强。报告展示了100个满足适应度定义的因子挖掘成果,并基于优异因子构建复合因子组合,验证了在沪深300、中证500、中证1000三大指数的回测效果,其中中证1000表现最为优异,年化收益超过20%。
引言部分详细阐述了遗传规划(Genetic Programming, GP)的定义、历史发展及其技术原理。遗传规划模仿生物进化过程(包括选择、交叉、变异)自动生成程序,以解决特定目标问题。GP尤其适合多维复杂数据的模型构建,且近年来计算资源的提升推动该方法在量化投资中的应用。金融行业因子库同质化严重,传统因子挖掘技术基于先验经济学理论构造公式,存在有效信息挖掘的局限。相较之下,将公式先自动生成后归纳出逻辑的“先公式后逻辑”模式,赋予GP因子挖掘独特优势。报告指出,尽管GP模型易过拟合且gplearn开源库无法处理多维面板与时序数据,本研究对gplearn底层代码进行定制,弥补其不足以适应量价时序数据挖掘的需求。
数据取自Wind数据库,标的为2018年1月到2023年10月的A股量价数据,跨度达70个月,作为训练与回测基础的数据源。数据清洗包括缺失值填充(采用KNN方法)、数据标准化处理等,保证模型输入数据的准确性与一致性,适应机器学习训练要求,确保因子挖掘的有效性与长期稳定性。
报告通过流程图形象展示遗传规划挖掘步骤:
关键参数包括种群大小、迭代代数、树的深度,适应度定义为RankIC,量化因子与未来收益相关性。适应度定义的精确性直接决定公式进化效果,较大种群空间能扩大搜索范围同时增加计算成本。树深度越大因子越复杂,可解释性下降且出现过拟合风险。
这些手段保障进化过程的多样性与收敛性,减少过拟合和陷入局部最优的风险,同时保持适应度增长势头。
为了提升挖掘能力,报告扩充了gplearn的自定义函数集,涵盖更多时序量价指标,令遗传规划能挖掘出更丰富、更符合金融实际的因子表达式。
结合机器学习的早停机制、公式膨胀控制、热启动及父子竞争等方法解决遗传规划算法的过拟合问题:
选取部分代表因子验证,超额年化收益率最高达12.9%,样本外RankIC变化不大,表现稳定,显示因子地图具备一定样本外泛化能力。波动率较大,暗示存在一定风险但具备风格属性。
基于单因子选出的优质因子构建等权重复合组合,在沪深300、中证500和中证1000指数样本内及2022-2023样本外区间回测,表现如下:
沪深300指数:
年化超额收益6.1%,样本外2022和2023年超额收益分别为6.71%和9.50%,最大回撤13.56%,信息比率0.7481,表现稳定但中规中矩。图8清晰显示超额净值稳步累计。
中证500指数:
全样本内多头收益12.17%,样本外2022年与2023年回报分别为10.32%和5.59%,最大回撤6.76%,风险控制较好,回报稳健。图9反映回撤较小。
中证1000指数:
复合因子最佳表现,年化收益达24.63%,样本外2022和2023年收益分别为21.52%和26.29%,最大回撤仅13.45%。明显表明遗传规划因子对中小盘股票具有更强选股能力和显著收益优势。图10显示收益曲线稳健上升。
报告指出,沪深300为大盘蓝筹股,中证500和1000分别代表中盘和小盘,因子表现优劣和指数成分股、市值风格高度相关。风格轮动对超额收益产生影响,最近三年中证指数表现明显优于沪深300,市场助力下中小盘因子表现更好,符合市场风格轮动的现实。
清晰展示了GP算法核心过程,包括随机初始化、适应度计算、适应度筛选、及交叉变异,形象描述遗传筛选与优化思路。该图奠定了后续研究流程的基础。
具体展现了遗传算子选择流程及迭代终止判定逻辑,加强对遗传规划工作原理的理解。多代迭代、基于概率方式选择父代、Crossover和Mutation的细节展示体现了遗传规划算法随机性与适应性平衡。
图示以树状公式为载体,直观展示交叉(交换子树)、子树变异(替换子树)、点变异(局部节点替换)、Hoist变异(子树提升精简)四种遗传算子操作,为理解因子表达式演化机制提供了结构化参考。
展示了深度为5,长度为10的复杂表达式结构,说明未约束时因子表达臃肿,缺失可解释性,形象证明模型优化方向的重要性。
三图色彩分明,左轴为收益净值,右轴为超额净值回撤,分段显示样本内外表现。中证1000(图10)超额收益显著高于其他两者,且回撤控制较好,验证了遗传规划复合因子在小市值股票中的选股优势。沪深300回撤较大,收益稳定性较中证1000逊色。图示配合详细统计数据,为策略实用性提供强有力的视觉佐证。
报告为机器学习算法研究,主要聚焦因子挖掘与回测,不包含传统意义上的股票估值模型分析(如DCF或市盈率法)。估值层面主要是利用适应度指标(RankIC)对模型生成因子的性能进行评价,模型超参数(如应停阈值、吝啬系数)构成了内部准则。可看作是非结构化模型的性能估值,强调泛化能力和超额收益水平,而非具体标的股票的价值评估。
报告识别了主要风险:
本报告系统完整地展示了利用机器学习中遗传规划方法对A股市场进行因子挖掘与优化的创新实践。重点突出:
综合来看,遗传规划因子挖掘技术结合有效过拟合控制机制,为金融量化因子的自动生成与投资组合优化提供了强有力工具。该方法克服了传统因子基于经验与经济逻辑构造的局限,拓展了金融因子挖掘的新思路,且具有较好实际应用潜力。但对模型稳定性、因子解释力以及动态适应市场变化仍存在挑战,需后续研究持续关注。
陈奥林,浙商证券研究所,电邮:chenaolin@stocke.com.cn
本报告详实地介绍并验证了基于遗传规划的机器学习因子自动挖掘技术的创新发展,强调了过拟合控制对机器学习资产管理策略成功应用的重要性,结合丰富数据实验呈现了可观选股能力和显著超额收益,展现了该技术未来量化投资领域广泛应用潜能。读者若需深入理解遗传规划在量化投资中的具体实施细节和调优方案,建议结合报告各章节数据和附图细读,确保对复杂算法和金融实践结合点有充分认知。
20231222-浙商证券-浙商证券机器学习与因子(四):遗传规划,模型、优化与应用.pdf