高频数据下基于文本挖掘和深度学习的股票波动性预测 —— 报告深度解析
1. 元数据与报告概览
报告标题: 高频数据下基于文本挖掘和深度学习的股票波动性预测
作者与研究团队: 东兴证券金融工程团队,主要分析师高智威,研究助理贺争盛
发布时间: 报告正文引用的文献发表于2021年5月,东兴证券整理发布时间未显式,但最新报告汇总时间为2022年3月,推测较新。
主题: 针对股票波动率预测,利用高频金融数据结合文本挖掘(情绪分析)和深度学习(LSTM)模型,提高预测准确性。
核心论点:
传统计量经济模型在波动率预测中存在无法拟合非线性关系、忽视最新交易和情绪信息的问题。
基于高频5分钟数据,深度学习长短期记忆(LSTM)模型具有强大的非线性关系拟合和特征学习能力,适用于波动率预测。
文本情绪因子由股东评论构建,纳入LSTM模型有效提升波动率预测的准确性。
经过多指标、多模型、及多步预测性能比较,带文本情绪指标的LSTM模型在准确性和稳健性上均显著优于传统计量经济学模型及无情绪指标的LSTM。
风险提示: 报告基于历史数据回测,模型存在市场环境变化导致失效的风险。报告不构成任何投资建议。1 ,3,17,18]
2. 逐章深度解读
2.1 研究背景
报告强调波动率在资产风险度量和衍生品定价中的重要性,回顾了传统波动率模型的演进:
GARCH模型(Bollerslev,1986)针对低频数据,描述波动率的条件异方差,缺乏对日内高频和非线性特征的捕捉。
HAR-RV模型(Corsi,2009)引入异质市场假说,融合日、周、月波动率。
ARFIMA模型捕捉时间序列长记忆性。
这些传统模型对波动率历史信息建模较好,但均无法处理非线性关系,且忽略了交易信息和情绪因素对未来波动率的影响,存在模型预测依据不足的缺陷。
深度学习模型LSTM被介绍为处理长序列依赖和非线性关系的有力工具,近年来虽多用于股价与收益预测,但少用于波动率预测。文本情绪则提供市场公众舆论信息,有助于反映投资者预期,但传统研究多用于股价走势预测,少用于波动率。
本文将高频数据、文本挖掘的情绪指数及LSTM结合,创新性地用于波动率预测,期望弥补上述不足,提高预测能力。4
2.2 模型与研究方法
2.2.1 传统计量经济模型介绍
GARCH模型 捕捉残差的异方差性,主要采用低频数据,模型形式:
[
y_t = \varphi x_t + u_t
]
[
\sigma_t^2 = \alpha_0 + \sum_{i=1}^q \alpha_i u_{t-i}^2 + \sum_{j=1}^p \beta_j \sigma_{t-j}^2
]
其中y t y_t y t 是因变量,x t x_t x t 是解释变量,误差项u t u_t u t 波动随时间变化。
HAR-RV模型 利用异构市场假说,结合日、周、月波动率预测未来波动:
[
RV_t^d = \beta_0 + \beta_d RV_t^d + \beta_w RV_t^w + \beta_m RV_t^m + \varepsilon_{t+H}
]
各级别波动率通过不同时长的移动平均计算,改善预测的长记忆匹配。
ARFIMA模型 是含分数阶差分项的ARMA模型,用于描述短期和长期依赖,表达式包含分形差分算子:
[
\varphi(L)(1-L)^d (x_t - \mu_t) = \theta(L) \varepsilon_t
]
其中d d d 控制序列的长记忆特性。
2.2.2 深度学习模型 - LSTM介绍
LSTM是一种特殊的循环神经网络,解决了RNN的梯度消失和梯度爆炸问题。
有两个状态传输:细胞状态C t C_t C t (记忆信息)和隐藏状态h t h_t h t 。
关键机制是“门控”,包括遗忘门f t f_t f t 、记忆门i t i_t i t 和输出门o t o_t o t ,通过sigmoid和tanh函数控制信息流动和更新,具体公式详见报告。
结构使得LSTM能够记住长期依赖信息,适合波动率时间序列的复杂非线性和长记忆建模。
2.2.3 预测指标与评估标准
预测指标包含:
实际波动率(基于5分钟高频收益率平方和计算)
交易量及相关衍生指标(成交量、价格变化率、偏差、CDP、DMA指标、隔夜信息等)
市场情绪指标(交易所情绪指标如AR、BR、换手率)
公众情绪指标(基于文本挖掘的舆情情绪因子)
评估标准采用六种损失函数,全面衡量预测误差:
MSE(均方误差)
RMSE(均方根误差)
MAE(平均绝对误差)
MSLE(均方对数误差)
R 2 R^2 R 2 (决定系数)
RMSPE(根均值平方预测误差)
评估体系确保模型综合性能和稳定性衡量,适用于高波动数据的准确性分析。5 ,5,6,7,8,9]
2.3 实证分析
2.3.1 数据选择
研究对象为中国股市漫步者(代码002351)。
数据区间2010年2月8日–2020年5月28日,共2741交易日。
高频交易数据采样频率为每5分钟48次,为日内高频数据。
文本情绪数据用Python爬取东方财富个股评论约12万条,涵盖同一时期。
高频交易数据来源Wind数据库。
2.3.2 文本情绪因子构建
利用中文分词和两轮情绪标注:
首先采用通用的褒贬词库对评论文本进行情绪分类。
为捕捉与股票市场相关的特定情绪词,构建股票专用情绪词库,对文本进行第二轮情绪覆盖标注,以更准确反映投资者真实情绪。
依据分词情绪得分(正面、中性、负面分别为1,0,-1)计算文本情绪权重。
使用评论阅读次数作为加权系数,对每日情绪得分进行综合,形成每日情绪因子公式:
[
Mood_t = \left( \frac{M_t^{pos} - M_t^{neg}}{M_t^{pos} + M_t^{neg}} \right) \ln (1 + M_t)
]
其中M t p o s , M t n e g , M t n e u M_t^{pos}, M_t^{neg}, M_t^{neu} M t p os , M t n e g , M t n e u 分别为当日加权正面、负面、中性评论数。
这一方法提高情绪指标的代表性和决定性,且经过手动校验,情绪测量准确性显著提升。
2.3.3 实际波动率估计及数据统计特征
5分钟高频对数收盘价计算收益率,进而计算每日实际波动率RV。
日收益率和波动率序列偏度、峰度均显著偏离正态分布,Ljung-Box Q统计显著,展示显著的自相关和长记忆特性。
Hurst指数(0.5-1之间)表明序列存在长记忆,更接近1则记忆性越显著。
ADF单位根检验显示各序列平稳,适合时间序列建模。
2.3.4 特征重要性分析
运用XGBoost算法评估预测指标重要度。
结果显示“变化率”、“CDP”、“隔夜价差”等指标贡献最大,情绪因子排名靠前,逻辑支持情绪指标对波动率预测的显著贡献。
2.3.5 LSTM模型构建与参数设定
采用滑动时间窗口滚动预测,窗口长度分别尝试10、20、30、40天。
训练与验证结果显示20天窗口时模型验证损失最低,这是因为较长窗口会引入无关数据影响训练,较短窗口数据不足。
模型结构采用两层LSTM叠加全连接层,加入Dropout防止过拟合。
优化器选择RMSprop,激活函数为线性,损失函数为MAE。
训练批次为10,训练轮次为30,验证集占5%。
训练过程与验证误差曲线示意模型合理拟合且相对稳定。
2.3.6 不同模型预测效果比较
考察12个模型,包括带/不带情绪指标的LSTM、ARFIMA、HAR-RV、GARCH(多种变体,包括t分布和正态分布误差)。
基于6个损失函数综合排名,带情绪指标的LSTM表现最佳。
具体提升情况(相较最佳传统模型ARFIMA):
指标 提升幅度 MSE 2.5% RMSE 1.3% MAE 14.6% MSLE 34.1% R 2 R^2 R 2 4.9% RMSPE 24.9%
对比无情绪指标LSTM模型,加入情绪指标后提升更为显著,尤其是预测的稳定性和准确率。
多步预测(第2步、第5步)测试,LSTM模型同样表现稳健,ARFIMA表现退化明显,显示LSTM对长记忆特征的优势。
绘制极值预测图,LSTM能更准确捕捉极端波动峰谷,显示其非线性建模优势。
3. 图表深度解读
3.1 图1与图2:LSTM结构与“门”机制
图1展示了LSTM单元的内部结构,强调遗忘门、记忆门、输出门的控制作用以及细胞状态C t C_t C t 传递。
图2逐步阐释门控机制的数学表达式,展示信息筛选、更新和输出过程。
图示帮助读者理解LSTM作为非线性序列模型,如何处理时间序列长记忆问题,为后续波动率建模提供理论基础。7 ,7]
3.2 图3:预测指标体系
以思维导图形式展示了波动率预测所用的主要指标类别:
交易信息(成交量、价格变化率、CDP、DMA等)
场内情绪指标(AR、BR、换手率)
公众舆论指标(文本情绪因子)
实际波动率
明确说明了各类指标如何独立且互补地参与波动率预测,支持多维度特征辅助模型训练。9
3.3 图4:文本情绪指标处理流程
详细说明如何将中文评论文本通过分词、两轮情绪标注和情绪评分加权,最终生成每日情绪指标因子。
图示流程简洁直观,确保文本情绪因子构建的科学性和严谨性,也为后续情绪指标显著性分析奠定基础。11
3.4 图5:收益率与波动率统计分析(表格)
显示日收益率R R R 、波动率R V t RV_t R V t 及其平方根三组指标的均值、中位数、标准差、偏度、峰度、单位根检验、JB统计量、Q统计量和赫斯特指数。
关键发现:
三组指标非正态分布,偏度和峰度明显偏离
明显长记忆特征(Hurst介于0.54-0.96)
序列平稳,适合模型建模
为时序模型选择和设计提供数据统计支撑。12
3.5 图6:基于XGBoost的特征重要性
直方图量化展示各种预测特征的相对重要性得分。
变化率、CDP、隔夜价差等指标排在前列,文本情绪因子“Mood”也获得较高得分,证实其对波动率预测具有解释力。
与文本情绪因子纳入LSTM模型的实证效果相呼应,说明情绪信息是增强模型预测性的重要因素。13
3.6 图7与图8:滚动预测策略与窗口选择
图7示意滚动时间窗方法,根据窗口长度预测下一个时间点的波动率。
图8表格显示不同窗口长度(10、20、30、40天)对应的MAE和MSE,20天窗口最优,平衡信息充分性与无关噪声。
图示验证模型输入结构与训练效率的选择理由。14
3.7 图9与图10:LSTM模型参数设定与训练过程
表格9详述分割训练集(95%)与验证集(5%),优化器(RMSprop)、激活函数(线性)、损失函数(MAE)、学习批次和轮次、Dropout率(0.2)等设置。
图10可视化训练集及验证集的损失曲线,损失整体下降平稳,模型对训练数据拟合良好,验证集曲线轻微波动,显示适度泛化能力。15
3.8 图11至图13:不同模型多指标排名对比
表格展现基于六项损失函数的12个模型预测准确率与排名。
LSTM+M(带情绪指标的LSTM)名列第一,无情绪LSTM第二,传统计量模型如ARFIMA、GARCH、HAR-RV依次排列下游。
多步预测(第2步、第5步)准确度逐步下降,但LSTM相关模型稳健性更强,且情绪指标能有效减缓降幅。
说明深度学习与情绪文本的结合能显著提升预测质量与多步预测的稳定性。16 ,16]
3.9 图14:实际波动率与前五预测模型样本外表现
散点为真实波动率,色线为5个预测模型对应预测值。(LSTM+M、LSTM、ARIMA、GARCH-N、EGARCH-N)
LSTM+M曲线更贴近真实散点的极端值,波动峰谷捕捉更加清晰。
提示模型在捕捉异常波动与极端行情方面的优势,对风险管理和衍生品定价尤为重要。18
4. 估值分析
本报告为学术文献应用速览,未涉及企业价值或资产的估值分析,因此无相关估值模型和目标价。
5. 风险因素评估
模型失效风险: 由于模型基于历史高频数据回测,市场环境变化(如法规调整、极端市场波动、投资者行为模式变化等)可能导致模型预测失效。
文本情绪指标风险: 公众情绪来源于网络评论数据,可能存在噪声、偏差或信息操纵风险,影响情绪因子的准确性。
技术复杂性风险: 深度学习模型的训练需大量数据和计算资源,模型调优复杂,可能面临过拟合风险。
泛化能力风险: LSTM模型虽表现优异,但对不同市场、不同股票的泛化能力尚需验证,尤其是中国市场以外的适用性。
缓解策略: 报告建议持续模型更新与校验,结合多维数据源,同时强调整体为研究报告,未形成投资建议。1 ,18,20]
6. 批判性视角与细微差别
数据样本单一限制: 研究以单一股票“漫步者”为对象,未展示多样化股票或市场的验证,样本局限可能影响结果泛化。
情绪指标构建部分存在主观性: 虽经两轮情绪标注及加权处理,但词典构建与情绪得分赋值带人为因素,可能影响情绪指数稳定性。
参数选择依赖经验: 窗口长度、网络结构等超参数多基于经验或交叉验证的有限结果,未详尽展开敏感性分析。
比较中部分模型表现较弱可能因参数设定不足: 例如部分计量模型带t t t 分布误差的表现较差,可能受模型设定或估计方法制约。
多步预测精度下降普遍存在,说明复杂市场未来波动形态难以极其精确捕捉。
报告未详细讨论模型解释性问题,深度学习黑盒特征使得波动率背后驱动因素链条复杂,不利于因果推断。
总体分析保持客观严谨,提示研究定位为方法探索及应用展示,未直接或形成本土投资建议。1 ,3,17]
7. 结论性综合
本报告系统梳理了2021年发表的学术文献《On stock volatility forecasting based on text mining and deep learning under high-frequency data》,全面论述了基于深度学习LSTM与文本挖掘构建的股票波动率预测体系。通过如下关键发现:
技术创新: 将高频5分钟交易数据、公众文本舆情情绪指标和深度学习模型LSTM相结合,是传统计量经济学模型的显著突破。
情绪指标科学构建: 文本情绪因子利用中文投资评论分词、双轮情绪词典标注与加权处理,有效量化投资者情绪情感,成功纳入预测体系。
数据验证: 描述性统计显著表明高频数据波动率序列具有复杂非正态、长记忆且稳定性良好,适合使用LSTM模型。
模型性能: LSTM模型在包含文本情绪指标时能显著提高波动率预测准确率,在6大损失函数指标下均优于传统GARCH、ARFIMA等模型,尤其在多步及极端波动预测中稳健性更强。
实务意义: 模型优势可应用于风险管理、衍生品定价以及投资决策辅助,强调融合非结构化文本数据和先进机器学习技术的重要性。
方法局限: 样本仅限单只股票,适用性和普遍性需未来多样本验证,情绪指标构建及模型泛化存在潜在挑战。
综上,报告为中国市场股票波动率预测提供了基于深度学习和文本挖掘的新方法论,并佐证情绪指标作为非传统预测因子的重要性,为金融工程和量化投资领域拓展了研究视角和工具路径。1 ,3,17,18]
总体评价
本报告结构清晰,内容详实,通过对模型理论、指标精选、实证过程和性能比较的系统阐述,全面展现了深度学习与文本挖掘技术在高频金融数据应用中的前沿探索,数据与图表丰富直观,具备较强的学术价值与应用参考意义。报告严谨中肯,风险提示于末尾突出,适合专业读者理解和借鉴。
主要图表索引(Markdown格式)
图1:LSTM结构
图3:预测指标体系
图4:文本情绪指标处理流程
图6:基于XGBoost的特征重要性
图7:滚动预测示意图
图10:模型训练损失曲线
图14:样本外预测表现(最高5个模型)
此深度解析力求详尽覆盖报告重要内容及图表,全面解读报告方法论、实证数据与模型比较,洞察其学术与应用价值,并在客观审慎的基础上指出研究局限,帮助读者系统理解并理性看待该研究成果。[page::全部]