指数门控在 LSTM 中的应用 — eLSTM 研究报告详细分析
1. 元数据与报告概览
- 报告标题:指数门控在 LSTM 中的应用— 一 eLSTM
- 发布机构:东北证券股份有限公司
- 报告日期:2024年9月
- 研究团队:东北证券上海证券研究咨询分公司金融工程团队,由王琦等多位硕士研究生及金融工程分析师组成。
- 主题内容:介绍基于深度学习长短期记忆网络(LSTM)改进的指数门控长短期记忆网络(eLSTM),以及其在量化选股因子挖掘中的应用和表现。
报告核心论点
- eLSTM 模型创新性地使用指数函数替代传统 LSTM 的 Sigmoid 门控,克服长步信息遗失问题,使模型对序列长时依赖关系的掌握更有效。
- 通过全 A 股日频量价数据做基础,eLSTM 相较传统 LSTM 和 GRU 模型,在不同股票池中均展现了显著的性能提升,特别是年化收益和超额收益均领先。
- 本报告附带控制变量实验,保障各模型参数及训练条件一致,确保比较的公平性和科学性。
- 风险提示明确指出:模型表现基于历史数据,存历史失效风险。
总体,报告旨在展示 eLSTM 模型在金融量价序列建模及选股因子生成领域的技术优势和应用价值。
2. 逐节深度解读
2.1. 引言部分
- LSTM 因其对序列数据出色的处理能力,在金融序列分析领域仍然是主流深度学习模型。
- 尽管近年来大规模模型(Transformer等)迅猛发展,但因金融数据量及特性不同,其结构直接应用存在适配难度,循环神经网络(LSTM/GRU)更适合量化投资任务。
- 目前深度量化研究更多聚焦特征工程,而模型本身性能提升相对较少。eLSTM 通过指数门控创新,实现更优序列特征提取。
2.2. eLSTM 网络的设计与技术原理
2.2.1. LSTM 的局限性及长步信息遗失问题
- 传统 LSTM 利用 Sigmoid 函数门控(输入门、遗忘门、输出门),门值域限制在 (0,1),只能对记忆做“减法”调整,导致长序列中早期信息逐渐淡出——即“长步信息遗失”。
- 这种机制限制了 LSTM 在处理长序列时的表现,尤其是序列较长时,早期输入对模型预测意义变小,反向传播难以调整中间遗忘决策。
- 传统 LSTM 依靠门机制能够缓解梯度消失问题,但并不能根本解决长序列记忆衰减。
2.2.2. eLSTM 的核心创新——指数门控
- eLSTM 用指数函数(Exp)取代 Sigmoid 函数作为输入门和遗忘门的激活函数。指数函数值域扩展到 (0,+∞),允许模型不仅减小还可以“加大”过去记忆的权重,修正早先不恰当的信息遗忘。
- 通过指数函数,门控机制对过去记忆的调整更灵活,能对长期依赖进行更有效的捕捉和保留,从而大幅减小长步信息遗失。
- 引入了标准器 Nt 来稳定隐状态 Ht ,解决指数函数带来的数值爆炸风险,使模型计算更稳定。
- 相关数学公式详细显示了 eLSTM 输入、遗忘门的计算由 Sigmoid 改为 Exp,同步引入了数值稳定机制 Mt,确保训练过程中无数值溢出。
2.2.3. eLSTM 网络结构及数值稳定性处理
- 图 5 显示 eLSTM 结构与 LSTM 基本相同,但输入门和遗忘门用 Exp 激活,且新增稳定器机制。
- 数值稳定方案引入对指数门的对数求和及归一化,证明了稳定门与原始门在前向传播中等价,且稳定器无梯度影响,不干扰损失函数计算,保障训练数值安全。
3. 基于 eLSTM 构建选股模型
- 输入数据:使用2012年以来全A股除北交所外的日频量价数据。
- 输入特征:过去60天内每日6个量价指标(开盘、最高、最低、收盘、成交均价、成交量)。
- 标签定义:未来10个交易日相对全A超额收益,具体计算公式使用t+2日买入价、t+10日卖出价计算。
- 数据预处理:样本内部对序列特征做时序Z-Score标准化,标签在各时间划分内统一Z-Score标准化。
- 模型架构:由RNN层(可选eLSTM、LSTM、GRU)、LayerNorm、Dropout、线性层组成。
- 参数设置:所有模型RNN层input_size=6,hidden_size=64,单层,Dropout率为0.3。训练使用Adam优化器,学习率0.0001,批量大小256,最大200个epoch。
4. 模型测试结果详解
报告采用了单因子测试方法,回测周期2017年至2024年7月,股票池覆盖全A股、沪深300、中证500、中证1000四大范围。
4.1. 全A股回测表现
- eLSTM
- 周频RankIC均值7.53%,ICIR=1.00,表明预测因子稳定有效。
- 多头年化收益18.24%,夏普0.87,风险调节性能较佳。超额收益19.96%,最大回撤4.29%。
- 图7、图8显示多空分层效果显著,不同层次分离度良好。
- LSTM
- RankIC均值5.84%,ICIR=0.64,表现逊色于eLSTM。
- 多头年化收益11.29%,夏普0.52,超额收益12.90%,最大回撤5.24%。
- 图9、图10分层表现均弱于eLSTM。
- GRU
- RankIC均值6.76%,ICIR=0.86,介于eLSTM与LSTM之间。
- 多头年化收益13.88%,夏普0.67,超额收益15.53%,最大回撤4.29%。
- 图11、图12表现亦优于LSTM,略逊色于eLSTM。
- 综合对比(图13、表9)
- eLSTM整体表现领先,收益率和风险收益比(夏普、卡玛)均优。
- 回撤控制能力优于LSTM,类似于GRU水平。
4.2. 沪深300成分股表现
- eLSTM
- RankIC均值4.74%,多头年化收益18.49%,超额年化17.49%,最大回撤10.84%。
- 夏普与卡玛指标均良好,表现稳定。
- 图14、图15显示因子层分离度明显。
- LSTM
- RankIC均值3.10%,多头年化收益12.40%,超额11.45%,最大回撤9.02%。
- 资金回撤控制表现较差。
- GRU
- RankIC均值4.37%,多头年化收益13.72%,超额12.77%,最大回撤14.79%。
- 最大回撤明显较大。
- 对比分析(图20、表16)
- eLSTM在收益及风险指标均超过LSTM和GRU。
- 针对较小股票池的表现稳定性高于其他模型。
4.3. 中证500成分股表现
- eLSTM
- RankIC均值5.60%,多头年化收益13.00%,超额年化14.03%,最大回撤5.81%。
- 风险调整收益表现稳健,夏普2.85。
- LSTM
- RankIC均值4.27%,多头年化收益7.54%,超额8.53%,最大回撤8.53%。
- 年化收益显著低于eLSTM;风险回撤均较劣。
- GRU
- RankIC均值4.85%,多头年化收益11.94%,超额12.96%,最大回撤6.69%。
- 风险调整表现较LSTM好,但整体不及eLSTM。
- 对比结果(图27、表23)
- eLSTM再次领先,且在风险和收益平衡方面表现最佳。
4.4. 中证1000成分股表现
- eLSTM
- RankIC均值6.39%,多头年化收益12.25%,超额16.94%,最大回撤5.49%。
- 夏普2.60,卡玛3.09,表现最佳。
- LSTM
- RankIC均值5.05%,多头年化收益5.86%,超额10.28%,最大回撤7.47%。
- 选股效果较弱,回撤较大。
- GRU
- RankIC均值5.79%,多头年化收益7.13%,超额11.60%,最大回撤7.79%。
- 介于LSTM与eLSTM之间。
- 对比分析(图34、表30)
- eLSTM模型在收益和风险控制上均明显优于传统模型。
- eLSTM在各股票池中的表现更具泛化能力,展现更强适用性。
5. 总结部分
- eLSTM通过将Sigmoid门控替换为指数门控,显著改善LSTM长步信息遗失的短板,增强了对金融序列长期依赖的捕获能力。
- 经过严谨的控制变量实验,验证了eLSTM在相同网络结构和训练条件下,相比LSTM和GRU展现优越的选股因子性能。
- 在全A股及沪深300、中证500、中证1000成分股不同股票池内测试,eLSTM均实现了更高年化收益、超额收益以及更优风险指标(夏普、卡玛和最大回撤),且多头组分离度明显。
- 同时证明eLSTM相较基准模型展现了更强的模型泛化能力和对多类型股票信息的提取能力,验证了模型设计的有效性和实用价值。
3. 图表深度解读
3.1 eLSTM模型原理及结构图(图1,图2,图4,图5)
- 图1(LSTM结构示意图)清晰说明传统LSTM的输入、遗忘、输出门结构及信息流动路径,突出门控激活为Sigmoid,记忆单元更新方式。该图辅助理解LSTM门控限制导致信息权重递减问题。
- 图2(LSTM记忆遗失示意图)通过饼状图模拟记忆衰减过程,展示传统Sigmoid门控“早期记忆被丢弃”影响预测精度的机制。
- 图4(指数门控修复记忆示意图)演示了指数门控修正遗忘比重的示意,支持eLSTM动态调整历史信息权重。
- 图5(eLSTM网络示意图)对比图1,重点标示了指数激活门和新引入的稳定器机制,视觉突出技术创新点。
3.2 模型结构及设置(图6,表1,表2)
- 图6展示模型整体架构,各层功能明确,RNN层为变量(eLSTM/LSTM/GRU),确保公平对照。
- 表1汇总模型各层参数设置,参数统一保证比较公平性。
- 表2列出训练超参及策略,均采用Adam优化,学习率0.0001,确保训练流程一致。
3.3 量价因子测试(图7-图34,表3-表30)
- IC测试图(如图7,14,21,28等)展示RankIC与累计RankIC走势,验证因子预测相关性和稳定性,eLSTM表现出较高且稳定的RankIC,优于基准模型。
- 分层回测图(如图8,15,22,29等)展示不同分组净值走势,反映因子对股票收益排序能力,eLSTM的多头组表现优异且分组分离清晰。
- 业绩表现表(如表3、10、17、24等)清晰展现多头年化收益、波动率、最大回撤、夏普比率与卡玛比率,eLSTM在收益和风险指标多处领先,包括超额回撤较低。
- 多头组对比图及表(图13、20、27、34及对应表格)综合比较三模型结构,突出eLSTM优势显著,特别是在年化收益及风险调整能力的提升。
4. 估值分析
报告未涉及具体金融估值模型或资产估值方法,焦点在深度学习模型改进及因子性能表现,无传统财务估值分析。
5. 风险因素评估
- 明确提出模型表现基于历史数据,存在模型失效风险。
- 指出该研究为能力探索性质,尚未考虑市场未来结构变化和极端事件对模型适用性的影响。
- 未详述具体风险缓解措施,但通过历史回测与多股票池比较部分强化模型稳健性验证。
6. 批判性视角与细微差别
- 报告整体论据充分,设计严谨,控制变量明确,实测多模型表现公平比较。
- 但对模型在极端市场情况(如黑天鹅事件)应对能力未展开讨论。
- 对指数门控较大数值波动风险采取了稳定器手段,但对应梯度传播中特殊情况及是否引发过拟合的探讨较少。
- 数据集选择仅以A股为主及其主要指数分池,缺乏海外市场验证,泛化能力参考尚有局限。
- 探讨实验周期跨度虽长,但后续年度表现波动较大(如2024年负收益显著),对近期性能的持续性和鲁棒性待观察。
7. 结论性综合
本报告介绍并验证了基于指数门控机制的eLSTM模型,在解决传统LSTM长步信息遗失问题上展现出创新和优异性能。指数激活替代Sigmoid门控引导模型更灵活地调整序列记忆权重,增强了对长序列金融量价数据的处理能力。模型通过引入标准器和稳定计算措施,有效控制了指数门控带来的数值稳定性挑战。
实验设计严谨,样本覆盖全A股及沪深300、中证500、中证1000多个股票池,训练及超参设置严格一致。结果显示,eLSTM生成的选股因子在各类股票池均显著优于传统LSTM及GRU模型,表现为更高的年化收益率、超额收益和风险调整收益指标(夏普比、卡玛比),以及更优的最大回撤控制。特别是在不同成分股股票池中的表现稳定,反映了模型优良的泛化能力和提取多样化量价特征的能力。
图表部分详细展现了模型结构创新(图1、图5)、记忆权重调整机制(图2、图4)、因子预测效果(图7、14、21、28)、收益风险指标(表3-30)和多模型对比优势(图13、20、27、34),为结论提供了充足的视觉和数据支持。
整体而言,eLSTM模型不仅理论创新,更通过系统的实证测试证实了其在量化投资领域的应用价值和潜力,是深度学习金融序列建模的重要进展。尽管存在一定历史数据风险和适用范围局限,该模型为后续金融深度学习研究指明了新的方向。
图表示例(重要图表截图)
参考文献
- Beck M, Pöppel K, Spanring M, et al. xLSTM: Extended Long Short-Term Memory[J]. arXiv preprint arXiv:2405.04517, 2024.
风险提示
本报告为模型能力探索,测试结果基于历史数据,存在模型失效风险,投资者应审慎使用。
报告观点仅反映发布时刻,后续市场及数据变化可能影响模型应用效果。
通过上述详尽分析,本报告为金融深度学习提供了具备实证支持的改进方向,eLSTM有望成为量价时间序列建模和因子挖掘领域的有效工具。我们建议关注该技术在更广泛市场和情境的后续应用验证。
,1,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38]