本报告提出CrossGRU模型,结合GRU时序模型与交叉注意力截面交互机制,通过“市场隐变量”假设实现高效截面信息融合。模型在中证全指的量价因子挖掘任务中表现优异,5日和10日RankIC分别达到10.9%和11.7%,分组测试中TOP组年化超额收益提升7%,最大回撤明显减少至8%。消融测试显示,截面交互模块和市场隐状态数量显著提升模型表现。简化模型CsAGRU也验证了截面信息融合的有效性,为量化投资提供新思路与工具。
| 模型 | 5日RankIC | 10日RankIC | TOP组年化收益率 | 夏普比率 | 最大回撤(%) | 超额收益率 |
|---|---|---|---|---|---|---|
| GRU | 0.106 | 0.112 | 19.3% | 0.91 | -30.4 | 22.0% |
| CrossGRU | 0.109 | 0.117 | 26.6% | 1.16 | -25.8 | 29.4% |
本报告题为《CrossGRU:基于交叉注意力的时序+截面端到端模型》(以下称“CrossGRU报告”),由华创证券研究所发布,撰写者为秦玄晋、王小川等证券分析师,发布日期大致为2024年初,目标聚焦于量化投资领域的技术革新,特别是围绕时序深度学习模型结合截面信息设计用于A股市场的量价因子挖掘。
核心论点提出了传统时序网络模型无法充分利用股票间的截面信息,因而在市场环境变化时表现欠佳。CrossGRU模型通过引入交叉注意力和市场隐变量假设实现时序与截面信息的端到端融合,提升因子预测能力和策略表现。报告对CrossGRU模型进行了详细介绍,包含设计理念、消融测试、实证检验(多指标回测对比)、参数敏感性分析以及风险提示,整体展示了CrossGRU在量价因子挖掘领域的优越性和实用价值。
报告指出现有端到端时序模型(如GRU、PatchTST)缺乏对股票截面依赖的考虑,而市场行情往往是截面相关的,使得纯时序模型可能出现显著回撤。文章提出通过引入截面交互,弥补股票间缺乏交互信息的漏洞,从而增强模型鲁棒性和表现。在设计中要避免截面规模动态变化(股票数量不定)以及超长序列计算瓶颈,将基于路径独立设计的时序模块与交叉注意力的截面模块有效结合形成CrossGRU。
逻辑推理指出:
(1)时序模型
采用GRU时序网络作为骨干结构,利用其门控机制较好捕捉序列依赖。选择通道混合(channel-mixing)而非通道独立结构,主要基于两个考虑:(a)与截面融合更加契合,流程更简洁;(b)通道独立设计在本任务尚无明显优势,避免复杂度增加。
(2)交叉注意力机制与市场隐变量假设
基于Transformer的交叉注意力概念,由Query、Key、Value三要素组成,通过Query与Key相似性赋权Value,捕获两序列间交互信息。CrossVit在图像多尺度特征融合上的成功为CrossGRU的多维截面信息融合提供参考,突出交叉注意力灵活多模态融合的优势。
模型用可学习的“市场隐状态”作为截面的中间路由,避免了依赖人工定义先验截面变量的难题:
此外,模型采用可学习残差连接机制自适应融合时序与截面信息,允许个股信息保留个性化特质,体现因市场截面所带动的全局影响,实现动态权重适配.
(3)模型结构整体总结
CrossGRU设计中对输入数据维度 [N,T,D] 分别独立处理时间维度(GRU编码)、截面维度(交叉注意力市场隐状态路由融合)、特征维度(基于FFN模块)。这一解耦设计增强模型灵活度和效果提升空间。训练耗时约20-30分钟(RTX 4090显卡),满足效率要求.
(1)数据集与训练设计
(2)参数设定
(3)模型表现:IC指标
(4)分组测试与收益表现
(5)消融测试:市场隐状态数影响
(6)简易截面交互的效用验证(CsAGRU模型)
(7)CrossGRU(ensemble)模型
总结回顾跨时序截面信息融合的创新设计,强调以下几点:
风险提示涵盖基于历史数据回测的固有限制,深度学习可能存在过拟合潜在风险,以及模型实现与文献可能存在细微差别,提醒读者谨慎参考。
展示了GRU的主要结构,输入序列中当前时刻与历史时刻状态自动门控关联,说明GRU具备建模序列依赖的能力,为后续因子挖掘分解时序信息的基础。
以Transformer模型为背景,突出交叉注意力实现两个序列间信息交互的机制示意图,进一步引入视觉领域Multiscale Transformer CrossVit作为案例,强化交叉注意力多信息融合灵活性,为应用于股票截面与时序的理论依据。
清晰展现输入股票量价序列通过GRU编码(时序编码器),以及引入市场隐状态环节和截面编码器(交叉注意力),最后采用可学习残差融合机制生成最终股票表征,反映模型端到端结构设计思路。
以市场隐状态作为两阶段交叉注意力的中转站连接股票表征和截面表征序列,极大提升计算效率,说明了核心截面交互机制。
残差连接模块图示中,门控机制对时序与截面表征加权融合,体现了模型自适应截面信息利用方式。
标准transformer中多层感知机模块的细节,支撑特征维度提炼能力,示意后续任务预测输入层处理过程。
时间序列滚动训练验证集切分方案,保证模型训练的时间连续性,符合时间序列预测实际需求。
展示了关键超参数,如Batch Size、优化器参数及随机种子设置,保障训练合理性与复现性。
数值展示CrossGRU均优于GRU的IC表现;趋势图反映了IC波动及累积趋势稳定,“红线”累积IC不断上涨,表示模型持续捕获有价值信息。
展示20分组策略按因子排序的超额收益增长趋势和年化收益柱状对比,CrossGRU快速拉开跑赢各组,表现明显优于GRU。
TOP组多头收益差异明显,CrossGRU优势集中表现于年化收益和极端年份抗风险性上,尤其2018与2024年,突显模型提升的关键价值。
多模型参数和IC、超额收益指标变化趋势映射,验证了参数选择对性能的敏感性及拟合适中原则。
简洁的加权投影学习模块,阐释在CsAGRU模型中截面信息的构建思路及权重生成流程。
数据显示简易加权注意力引入截面信息后相比GRU获得较好的多头年化收益与回撤控制,支持截面交互的价值论证。
分组收益、绩效统计和超额收益历史趋势,体现了模型组合在实盘策略中的风险调整收益,年化超额12.28%,最大回撤6.8%,回撤和风险控制优异,验证了实用价值。
本报告并未采用传统的股票估值工具如DCF或市盈率方法;其焦点为量化模型设计与因子预测性能,核心在于IC指标和策略回测表现,因此无估值部分。
报告明确风险提示:
风险评估充分,提醒专业投资者理性参考模型结果,避免盲目追随。
华创证券研究所在本报告中提出了创新性的CrossGRU模型,基于GRU时序编码引入了交叉注意力驱动的截面信息交互模块,采用市场隐变量设计简化截面表征,实现了效率与性能兼顾的端到端量价因子挖掘框架。
详尽的量化测试显示,CrossGRU相比传统GRU模型在信息系数(IC)和因子策略表现均有稳健提升,尤其是在截面多头TOP组年化收益(约提升7%)和最大回撤控制(从21%降至8%)方面表现突出。在2018和2024年极端行情环境下优势明显,显示其市场结构适应力。消融实验进一步验证参数敏感性和截面信息价值,简单截面交互(CSAGRU)和多参数集成方案提出了实用的提升路径。
图表分析系统且全面,图文结合方式清晰展示模型架构及实证性能。报告风险说明充分,保证读者对模型约束有清晰认知。
综上,CrossGRU成功填补了时序模型忽略截面交互信息的空白,提出了实际可行、有效的深度学习方法学创新,为中国A股量化选股提供了先进的因子挖掘技术支撑,具有较高推广和应用前景。
引用页码:
[0], [1], [5-25], [26-27]
注:所有图表均符合逻辑分析,部分关键图片如下展示示意:
以上为本次报告的深度详尽解析。
AI+HI系列(4):CrossGRU 基于交叉注意力的时序加截面端到端模型.pdf