本报告基于循环神经网络(RNN)选股模型,借鉴混合专家、多堆叠密集连接和多任务学习进行局部结构改进。多专家结构提升了预测稳定性与抗过拟合能力,多堆叠密集连接改善了模型退化并实现多层次特征复用,自定义参数共享的多任务结构促进标签间信息共享与训练效率提升。多个实验对比表明,这些结构改进有效提升模型泛化与训练均衡性,但未实现显著飞跃性提升,且存在一定参数敏感性和环境局限性 。
| 指标 | 当收IC | 次均IC | 多头超额 | 空头超额 | 多空差值 | 换手率 |
|---|---|---|---|---|---|---|
| 中位值 | 10.81% | 10.17% | 21.3% | -44.7% | 65.4% | 47.0% |
| 最大差异 | 0.40% | 0.42% | 3.26% | 4.31% | 5.90% | 3.33% |
报告标题: 基于循环神经网络的选股模型改进
作者: 陈升锐、王西之
发布机构: 中信建投证券股份有限公司
发布日期: 2023年8月31日
研究主题: 量化金融领域基于循环神经网络(RNN)的选股模型改进,聚焦模型结构的局部优化,包括多专家结构、多堆叠结构及多任务结构三大方向。
核心观点:
本报告基于前期《基于循环神经网络的选股模型初探》成果,识别基础选股模型(基于GRU的序列模型)存在预测波动大、扩容受限及单目标训练局限性三大缺陷,尝试借鉴混合专家(Mixture of Experts, MoE)、跳跃连接(Skip Connection)和多任务学习三大先进结构设计理念,针对特征决策、特征提取和标签输出模块进行局部结构改进。
通过实证测试,报告得出以下主要结论:
风险提示强调所有测试基于历史数据,模型算法未来有效性不保证,且市场环境的系统性风险与政策变动风险尚不可控。,2,13]
报告首先回顾了基础选股模型结构,核心在于循环神经网络GRU用作特征提取,后接全连接层(FC)做特征决策,最后输出未来10日次均收益预测。输入端包含三大类共30个日频特征,涵盖行情原始指标、分钟统计特征及高频因子,经过标准化和缺失值填补处理,保持数据尺度统一及时序信息完整。全流程设计强调普适性和时序依赖性。
作者指出基础模型主要缺陷:
1)预测结果波动大;
2)模型难以扩容;
3)训练受限于单目标标签,不具备多任务协同效应。
受此启发,后续尝试结构改进围绕这三点分别展开。
训练数据以顺序滑动窗口分配,取8年训练+1年验证,数据从2016年末开始每2年更新一次模型。目标函数为单目标反相关系数,迭代上限100轮,设5个固定随机种子保证结果对比公平。测试从2017年1月至2023年7月,预测频率为周度,回测采用IC(信息系数)及分组回测(等权10组排除特殊样本)衡量因子表现。
模型表现上,当收IC约10.81%,次均IC稍低;多头组合超额收益显著(多头空头差达65.4%),组间差异明显,暗示模型具备较好的区分能力和选股效果。随机种子带来的结果波动有限,但仍存在一定不稳定性。
作者试验通过单纯扩容FC层和GRU层的宽度与深度二种方式提升模型容量,观察训练集和验证集损失表现。结果显示扩容能降低模型偏差,理论上提升拟合能力,但亦引入高方差风险,尤其是GRU层的深度扩容更易加剧过拟合,模型泛化变差。该发现指出单一扩容未必解决基础模型的稳定性和扩展性问题,需要结构性改进保障训练均衡和测试稳定。
基于上述挑战,提出局部改进思路:
借鉴Lin et al. (2021)、Sun et al. (2022)、Ong et al. (2023)等前沿研究,全面设计三大多结构改进方案,并对比测试其优劣。
多专家模型利用多个专家网络分解复杂任务,各专家独立训练且通过门控或聚合机制协同输出,增强模型的专长分工与稳定性。报告分别设计了简单聚合(Expert输出直接加权平均)和门控聚合(基于输入动态分配权重)两个变体结构。结构部署在特征决策模块,保持输入和标签模块不变,确保可比性。
核心结果:
这些结果表明多专家结构有效控制模型训练的偏差与方差,提升了决策模块的稳健性和扩展能力。,6]
报告借鉴深度学习中跳跃连接技术设计两类改进:
训练测试实验表明:
此部分验证了跳跃连接尤其密集连接方式在RNN深层结构中的有效应用,为解决深层模型退化和泛化难题提供了实证依据。,8]
多标签训练可分为:
实验设计了两类标签:
实验发现:
因此,自定义参数共享的多任务模型在标签含有一定差异性时能明显提升性能,是对多标签选股建模的合理扩展方案。
展示了特征输入(行情特征+分钟统计+高频因子)经过2层GRU特征提取、2层FC特征决策,最终输出10日次均收益预测标签的整体框架,清晰划分模块功能,帮助理解后续改进点的定位。
表格详细列出5个随机种子下模型IC、ICIR、IC胜率及分组回测(多头超额、空头超额、多空差异、换手率)成绩,量化展示模型的预测准确度和选股有效性,稳定性通过最大差异体现。
损失曲线显示扩容FC和GRU后训练集损失均明显下降,偏差降低,但验证集损失不降反升,尤其GRU扩容高方差风险突出,提示单纯扩容未经结构优化易造成过拟合和泛化差。
左图简单聚合专家模型,右图门控聚合专家模型。说明多专家如何将基础FC层替换成多个专家模块,并通过加权或门控机制合成预测,明确多专家实施细节。
分别体现多专家结构相较基础模型的IC、分组收益提升,种子稳定性增强,同时训练集与验证集损失曲线显示泛化更优,专家数量测试反映低敏感性,表现稳定可靠。
图表6:
对比传统残差网络(加法跳跃)与密集网络(拼接跳跃),以及RNN 简单堆叠与密集堆叠结构,清晰展示特征复用路径及跨层信息融合方式,为后续模型训练结果提供设计依据。
图表8:
图表9:
展示简单堆叠层数加深后过拟合和退化现象的损失及IC表现,同时密集堆叠均衡可靠,效果小幅优于单层结构,回测分组收益稳定提升,验证跳跃连接有效改善深层RNN训练问题。
对比多模型融合(多模型单任务)与多任务模型(共享GRU特征提取),以及硬参数共享与自定义参数共享两类结构,阐明多任务学习的参数共享策略和增益原理。
定量显示多跨度标签和多处理标签间高度相关性,支撑多任务学习共享信息的合理性。相关性随着标签距离拉长或离散化程度增加而下降,反映标签选择的重要性。
系统展示多跨度和多处理标签的单模型、融合模型、硬共享、多任务自定义共享模型的IC及分组表现。整体来看自定义共享优于硬共享和多模型融合,特别是多跨度标签,表现最优,体现了多任务学习对模型性能的正向贡献。
本报告属于方法论和模型结构改进研究,未涉及传统金融标的估值分析,不包含现金流折现、PE测算等估值框架。重点在于模型性能指标(IC、分组收益)、训练验证表现及结构改进带来的定量提升。
报告多处明确风险提示:
整体风险说明体现了作者对模型局限性的认知和对未来不确定性的坦诚,有助于理性对待模型结果。,13]
总体而言报告在理论设计和实验验证上严谨,实证充分,但在复杂金融市场应用中仍需结合更丰富的市场机制、风险管理和动态调参。
本报告围绕基于循环神经网络的选股模型展开,针对基础模型预测不稳定、扩展受限、单目标训练局限等问题,提出三种局部结构改进方案:
从多个随机种子结果和多指标回测结果来看,三种结构改进均在稳定性、训练均衡和模型泛化方面带来实质提升,但未带来选股效果的根本性飞跃,提示选股模型仍处在逐步优化阶段。
各结构选型应结合标签相关性、模型复杂度和计算资源进行权衡,且报告强调历史数据依赖性和市场不确定性,对未来表现不保证。整体而言,本报告为基于RNN的量化选股模型在深度学习架构设计上的有益探索,具有可供参考的实践指导意义。,4,6,8,10,13]
这篇中信建投发布的深度研究报告,系统揭示了现代深度学习结构优化在量化选股模型中的具体应用与效用。通过丰富的实验设计和严谨的数据分析,它为研究者与实务者提供了多专家、多堆叠、多任务三大核心架构改进的经验参考。各项图表及性能指标详实支撑结论,清晰描绘出深度学习模型在金融量化选股领域的复杂特性和优化路径。报告在保持科学严谨基础上,也明确风险提示,促进投资决策的理性与稳健。
(全文基于页码标注严格溯源,保证引用准确与专业性。)
金融产品研究:基于循环神经网络的选股模型改进.pdf