本报告围绕递归神经网络(RNN)及其长短期记忆单元(LSTM),构建分行业多因子股票预测模型。通过输入69个原始因子,采用LSTM网络对不同行业及全市场股票价格趋势进行训练与预测。结果显示,不同行业训练集准确率显著提升但验证集和测试集准确率持续稳定在40%左右,存在过拟合风险。尽管训练集表现优异,样本外预测效果有限。最后基于模型激活值构建多空组合,展示全市场与部分大类行业选股策略的净值表现及超额收益,为深度学习在量化选股领域应用提供实证参考
| 大类名称 | 最终训练准确率 | 最终验证准确率 | 测试准确率 |
|---|---|---|---|
| 消费 | 80.8% | 53.5% | 37.2% |
| 工业 | 83.1% | 56.6% | 41.4% |
| 新兴 | 84.8% | 53.9% | 40.6% |
| 金融 | 89.2% | 48.4% | 37.9% |
| 全市场 | 84.8% | 61.6% | 41.4% |
报告标题:《递归神经网络 RNN——长短期记忆细胞(LSTM)的分行业多因子预测》
发布机构:国信证券经济研究所
发布日期:2018年12月28日
分析师:黄志文,邹璐
主题:量化投资领域,基于深度学习中递归神经网络(RNN)尤其是长短期记忆网络(LSTM)模型,进行分行业的股票多因子涨跌预测分析与选股研究。
核心论点及信息摘要:
本报告主要探索RNN、LSTM模型在股票市场分行业多因子选股的应用能力。针对69个原始因子输入模型,通过深度循环神经网络对股票市场整体及不同板块(行业大类)进行训练和验证。发现不同板块对历史数据的依赖程度不同,模型在训练集表现优异(准确率近90%),但在验证集及测试集表现明显下滑且稳定在40%左右,显示存在较强的过拟合现象。全市场模型的选股效果优于行业大类模型,但工业大类表现相对较好,表现出稳定超额收益。最终结论指出,虽然深度神经网络具有潜力,但在量化投资应用中训练样本容量、过拟合问题及模型泛化能力仍需提升和进一步探索。该报告并无明确目标价或投资评级,更多为方法和技术探索性专题。,4,7,12,15]
介绍RNN原理及优势:
RNN与传统感知机神经网络最大区别在于引入时间循环结构,其隐藏层状态会受到上一时刻状态影响,使得模型能够存储和利用时间序列信息。更贴合人类对时间序列数据的处理方式,结合前期经验影响判断。适合处理如股票价格这类时间相关信号的预测问题(图1示意RNN展开结构)。
梯度消失和梯度爆炸问题:
RNN训练中通过BPTT(反向传播穿越时间)优化,但长时间跨度序列容易导致梯度递推式中的乘积趋近于0或极大,形成梯度消失或爆炸,阻碍模型学习长期依赖。通过激活函数替换(sigmoid/tanh替换为ReLU)以及梯度裁剪等技术带来缓解(图2展示各激活函数曲线),5]。
LSTM结构及核心机制:
LSTM通过增加三个门控单元输入门、遗忘门、输出门以及“细胞状态”结构来动态控制信息流动,有效缓解长序列学习过程中的梯度消失问题。每个门通过sigmoid激活函数产生[0,1]之间权重决定信息传递量,单元状态通过公式 ct=ft⊙ct−1+it⊙gt 实现信息保留和更新(图2展示结构示意)。
梯度传导机理解析:
证明忘记门ft值接近1则梯度不衰减,避免消失。同时采用梯度裁剪避免梯度爆炸。训练函数采用交叉熵损失函数进行监督指导,7]。
数据采集及样本描述:
训练数据区间2007.05-2016.12(共15.3万条月频多因子样本数据),测试集时间2017.01-2018.12。含69个多因子全部输入,无人工筛选,减轻人为偏见。三分类收益率定义为涨(>3%)、跌(<-3%)、中性(-3%~3%)。
模型参数:
输入维度69,输出三分类,时间长度窗口24个月,隐藏层2层,每层神经元400个,dropout比0.4。优化算法使用Adam自适应算法,采用指数衰减学习率从0.01起步,防止发散。Batch size按行业样本量调整250/350/500。
模型结构:
分别通过两层LSTM和fully connected层加Softmax输出概率值(图4,结构示意)。模型通过训练与验证集配合使用避免过拟合。
行业划分及样本数:
采用Wind一级行业分为12个,因样本量限制,合并为消费、工业、新兴、金融四大类。全市场涵盖3060只股票样本共15.5万条数据。
训练效果与过拟合分析:
各行业训练集准确率均达到80%以上,部分行业近90%。验证集准确率较低且早期即稳定在40%-60%区间,测试集验证更低维持在约40%左右,说明模型普遍存在过拟合倾向,验证损失训练中后期大幅反弹。不同板块表现在训练集上存在差异,样本少的行业过拟合更严重(图3-12展示各行业训练与测试准确率及loss曲线),一致体现大样本更利于泛化。
准确率汇总:
全市场测试准确率41.4%,工业41.4%,新兴40.6%,金融37.9%,消费37.2%。说明行业大类模型没有明显优于全市场模型。
本报告为科研技术性专题报告,主要聚焦深度神经网络模型构建及在股票市场的选股表现,未涉及传统估值框架或直接投资评级和目标价设定,没有使用DCF、市盈率等估值方法,亦未给出明确买卖评级。主要基于准确率和回测表现做模型能力评价。
报告内在风险提示主要有:
报告强调需注意这些风险并持续优化策略设计和模型训练流程。,15,27]
整体而言,报告内容严谨,客观呈现实证结果,属于量化领域探索性研究,结论明确表达模型局限,不夸大效果,体现一定的审慎观点。
本报告系统探讨了基于递归神经网络(RNN)中长短期记忆网络(LSTM)的分行业多因子股票涨跌预测模型的建模、训练及应用表现。通过对2007年至2018年间多因子月频数据训练,覆盖全市场及四个合并行业大类共计3060只股票,输入未经删减的69个因子。
核心发现如下:
模型技术方面,LSTM通过门控机制有效缓解传统RNN梯度消失问题,但仍存在过拟合倾向,需要合适的训练监控策略(使用验证集,early stopping)控制训练步数,防止无效参数调整。神经网络结构设置兼顾复杂度和预测能力,优化参数设计较成熟。
训练表现,所有行业大类训练集准确率均达80%以上,部分近90%,表现霸气。然而验证集及测试集准确率明显下降,维持在40%左右,显示过拟合严重,泛化能力不足。行业间表现差异受训练样本量影响显著,小样本行业过拟合更为明显。
选股回测效果,全市场模型基于预测排名前20%的股票构造的多头组合持续跑赢空头和等权组合,显示一定的预测价值。其中工业行业表现最优,多空组合净值稳定呈上升趋势;消费、新兴等行业波动较大,稳定性不足。
对比全市场与行业大类模型,行业模型未显著优于全市场模型,提示行业划分对提升模型预测价值贡献有限,可能因行业间因素交错和样本量分割摊薄影响。
研究价值,本报告为深度学习在量化投资领域的应用提供了系统的实证基础和框架,揭示现实中应用深度神经网络存在的技术挑战和业务难点。
报告整体展示了严谨的实验步骤和客观的分析视角,强调训练数据样本量的关键作用及过拟合问题对模型实际应用的制约,为后续基于深度学习的量化投资研究指明了改进方向和潜在风险。
本报告通过系统化探索LSTM在多因子选股中的应用,明确展示了深度学习模型在金融领域面临的关键挑战:过拟合、样本量依赖强及难以泛化。尽管存在局限,但基于全市场模型的多空组合净值表现出超额收益潜力,尤其工业行业表现相对稳健,表明该方向具备研究和应用的空间。未来需要继续提升模型设计、数据处理以及跨行业因子筛选,增强模型稳定性和实战有效性。
本分析报告所有结论和数据均根据原文报告提取,涉及多个页面,主要参考页码依次为:
0-7, 9-17, 19-26, 28,覆盖章节起止与图表位置。
以上为《递归神经网络 RNN——长短期记忆细胞(LSTM)的分行业多因子预测》专题报告详尽且全面的专业分析解读。
金融工程专题研究:递归神经网络RNN 长短期记忆细胞(LSTM)的分行业多因子预测.pdf