本报告探讨了Transformer算法在股票特征工程中的应用,通过设置月频调仓场景,采用带时间步长的多维因子输入,训练预测股票次月回报。经多股票池(中证1000、500、沪深300及全市场)实证检验,Transformer模型能实现有效的股票特征筛选,形成组合稳定超额收益,IC均值0.047,IR为0.69。模型通过位置编码、时间步长、Encoder层数等超参数调优,最终确定单Encoder层、时间步长3的架构最优。然而,横向比较多种机器学习模型,Transformer未表现显著优势,可能因月频样本量限制及数据特征差异。后续建议增加样本频率及创新符合Transformer特征的金融数据探索
Transformer算法框架与原理介绍
数据处理与因子选取
Transformer模型超参数调优与模型架构确定
注意力权重分析显示成交量及估值类特征权重较高,表明其在模型中具有较强预测影响力
不同股票池的实证表现综述:
Transformer与其它常用机器学习模型比较
结论与展望
算法简介:
Transformer是一种基于自注意力机制的深度学习模型,突破了传统RNN的顺序限制和CNN的固定卷积窗口,提供强大的并行计算能力及长期依赖捕捉能力。Transformer由Vaswani等人在2017年提出,并成为当前主流的自然语言处理架构,如ChatGPT(Decoder Only)和BERT(Encoder Only)的核心。
模型结构:
包含编码器(Encoders)和解码器(Decoders),可单独或组合使用。编码器包含自注意力和前馈神经网络两部分;Decoder结构类似,增加Encoder-Decoder注意力。
编码器堆叠多层以提取更深特征。同时引入了位置编码解决序列位置识别问题。自注意力机制将序列映射为查询(Q)、键(K)、值(V)三矩阵,通过缩放点积计算加权上下文表示。
图表展示详细流程,模型计算包括多头注意力、残差连接及规范化等步骤,保证信息在深层传播中稳定。
图表示例:
图1展示基础框架,图3详解多层堆叠结构,图5-7解析自注意力矩阵计算,图8揭示完整工作流程。[见图片注释]
数据来源与范围:
采集中证系列指数成分股及A股市场数据,使用Wind数据库,涵盖2007年1月至2023年6月,共198个月,月频数据。数据集涵盖财务报表、交易数据及宏观经济数据,经清洗后转化为标准化格式,消除缺失并标准化处理,保障数据质量。
因子池详情:
因子定义延续前文《机器学习与因子(一)》一致,覆盖基本面规模、估值、盈利、成长、杠杆和交易类共25维如市值对数(mve)、市值账面比(bm)、现金流、交易量等,详见表1。因子多样确保涵盖股票多角度表现和风险特征。
模型架构选取:
采用Encoder-Only Transformer,简化Seq2Seq结构,适配回归次月股票收益任务。输入T×N面板数据,T为时间步长(测试1、3、6月),N为特征维数25。
训练管理:
样本划分为2007-2018年训练期,2019-2023年为测试期,充分覆盖市场不同周期。使用均方误差(MSE)评估样本内拟合,通过组合年化收益衡量样本外特征工程效果。标签为绝对收益率,假设贝塔信息已隐含在因子中。
超参数测试:
Table 2列出各参数选项,包括有无位置编码,时间步长(1/3/6),Encoder层数(1,4,6,8),多头数量(1,5),Dropout(0,0.1,0.2),学习率和Epoch数。
结合实验证明,三角函数位置编码能显著降低样本内MSE,提升样本外年化收益(图10,11)。
时间步长为3表现最佳,时间步长6则显示过拟合(图12,13)。
Encoder层数增加提升样本内拟合,但超过6层带来过拟合风险,样本外收益下降(图14,15)。
Dropout与特征降维缓解过拟合,但以收益表现权衡,最终放弃使用(图16,17)。
最终模型架构:
确定输入为时间步长3,25维因子,单层Encoder,单头注意力。模型由自注意力层,残差连接、归一化和前馈层及线性层组成,总参数约7801个(详见公式)。这种紧凑架构降低过拟合风险,更适合样本量有限的股市数据。
注意力权重热图分析:
图19显示成交量相关因子(zerotrade, ill)和估值因子(bm)与其他特征之间具有较强注意力联系,说明模型优先关注这些关键特征,实现特征筛选与加权,支持模型预测有效性。
测试范围:
报告依次实证中证1000、500、沪深300及全市场股票池,均采用2007-2018训练,2019-2023回测。采用因子计算分组,由高打分组构建多头组合,低分构建空头组合。
中证1000:
多头组合表现优异,累计净值大幅超过基准,年化超额收益率高达17.52%,信息比率最高达1.3,显著优于基准(图20,21,表3)。组合收益与信息比率单调上升,表明打分有效性高。最大回撤在合理范围,风险控制较好。
中证500:
多头组合稳定超额收益,年化超额约9.03%,信息比率中等,表现逊色于中证1000,但依然有较好单调性和分组表现(图22,23,表4)。部分年份表现波动,显示样本池特征复杂度提升可能影响模型表现。
沪深300:
总体超额收益表现一般,波动较大,部分年份收益不稳(图24,25,表5)。打分单调性不如前两个池强,推测成分股特征成熟且高度相关,增加预测难度。风险控制相对弱化,最大回撤上下浮动频繁。
全市场股票池:
多头与空头组合表现稳定,净值差持续扩大,年化超额收益较为显著,IC平均0.047,IR 0.69,69.81%打分有效月份显示模型稳定性较好(图26-29,表6)。风险调整指标如夏普、信息比率较高。打分分组收益单调性良好,体现Transformer在大范围场景下的特征提炼能力。
对比模型:包括CatBoost、ElasticNet、Lasso、LightGBM、神经网络(4层、5层)、OLS线性回归、XGBoost、决策树(DT)、随机森林(RF)等十余种。
结果:图30显示Transformer算法的月频调仓场景下组合净值未明显优于其他较简单模型。说明Transformer复杂度未能转化为超越传统模型的优势。
原因分析:
1)样本量:月频样本有限,难以培育大容量Transformer深度模型。
2)数据特征适合度:金融时间序列和语言序列特征差异大,Transformer固有假设(长期依赖、多层注意力)难以捕捉金融数据内在特征。
3)模型训练受限,效果未显著。
(所有图表均源自浙商证券研究所,基于Wind数据库和公开资料)
本报告重点为特征工程模型的选股效果与收益表现评估,无传统意义上的公司估值分析。模型预测的目标变量为次月股票收益率。以此建立从多因子面板到预期收益映射的回归模型,未涉及现金流折现等估值框架。
整体保持客观平衡,具备良好的科学探索风格。
本文系统评估了Transformer模型在股票特征工程中的应用。首先,详细介绍了Transformer的原理、结构及其在金融时序识别上的潜力。通过合理的数据采集、因子选择和清洗,构建25维多因子面板数据。采用Encoder-Only结构,依托自注意力机制对因子序列回归预测次月收益。
超参数敏感度分析明确了位置编码、时间步长、Encoder层数等关键设置,防止过拟合成为模型设计要点。最终模型参数约7801,输入时间步长3,单层Encoder,充分平衡拟合与泛化。注意力机制突出成交量、估值因子,反映模型聚焦重要信息。
实证检验横跨中证1000、500、沪深300及全市场股票池,均取得稳定正向超额收益及良好分组单调性,尤其中证1000及全市场表现更佳。综合统计指标表明模型具有较强的筛选有效性和风险调整性能。
与多种主流机器学习算法对比,Transformer模型表现虽稳定但未显著优于传统模型,受限于月频样本数量及金融数据特点。
风险方面,高复杂度模型风险敞口需谨慎对待,模型依赖历史数据,受限样本量和金融市场不可预知性。
本研究为Transformer在金融因子特征提取与股票选择的探索提供了 valuable实证支持,揭示其潜力和限制。未来有望通过更高频数据、更丰富的特征挖掘及模型结构创新,提升其投资决策应用价值。
整体报告客观详尽,逻辑严整,为证券研究和量化投资领域提供了知识储备和方法论支撑。
[1] Vaswani, Ashish, et al. "Attention is all you need." Advances in Neural Information Processing Systems, 2017.
[2] Leippold M., Wang Q., Zhou W., "Machine learning in the Chinese stock market," Journal of Financial Economics, 2021(1).
报告评级信息与免责声明详见末尾页,
(全文引用页码均标注 [pidx::页码],确保内容来源溯管)
本报告为Transformer在股市特征工程应用的实证研究,详尽解读其设计逻辑、数据处理、模型训练和实证结果,既肯定了其技术创新价值,也坦诚了市场应用的局限性。对投资者和量化研究人员均具启发意义。
20230812-浙商证券-浙商证券机器学习与因子(二):Transformer特征工程算法测评.pdf