本报告介绍多任务学习在量化选股的应用,采用硬参数共享的全连接神经网络同时预测未来10日和20日收益率排序。通过不确定性加权和动态加权两种方式加权损失,结果表明多任务学习在合成因子测试和指增组合回测上均优于单任务学习,且模型规模扩大时优势更明显。此外,多任务学习在预测值集成时的优势时序较为稳定,显示了其在量化选股中的应用潜力及优势
图表8:主要测试模型对照表
| 测试模型 | 学习方式 | 隐单元数 | 损失函数加权方法 |
|---|---|---|---|
| stl_64 | 单任务 | 64 | - |
| mtl_uw_64 | 多任务 | 64 | uncertainty weight |
| mtl_dwa_64 | 多任务 | 64 | dynamic weight average |
| stl_256 | 单任务 | 256 | - |
| mtl_uw_256 | 多任务 | 256 | uncertainty weight |
| mtl_dwa_256 | 多任务 | 256 | dynamic weight average |
报告一开始以“通才胜过专才”的直观理解引入多任务学习的概念。对比传统单任务学习(Single-Task Learning, STL)—模型只聚焦单一预测目标(“专才”),多任务学习让一个模型覆盖多个预测目标,类似人类同时理解多重信息。此认知框架正是深度学习人工智能发展的趋势。,2]
核心架构分为两类:
硬参数共享(Hard Parameter Sharing):模型底层共享,同一网络基础层提取特征,顶层独立完成具体任务。其优势在于降低模型过拟合风险,提升知识迁移效率。,3]
软参数共享(Soft Parameter Sharing):每任务独立模型,但通过正则化约束参数间相似度,实现信息交流,适合任务间关系不密切情况。
针对任务间损失函数加权,介绍了多种主流方案:
Uncertainty Weight (UW):通过估计任务不确定性动态调整损失权重,任务不确定性大则权重小,反之亦然;实现端到端可学习。
Dynamic Weight Average (DWA):通过监测各任务损失的相对变化动态调整权重,提升学习效率平衡各任务训练步伐。
其他权重策略:几何均值损失(GLS)、随机权重(RW)等,探索更灵活的损失组合方式。
多任务学习有效的核心逻辑体现在:知识迁移促进特征学习;辅助任务作为正则化,减弱无关噪声;隐式数据增强作用增加样本信息量,降低过拟合。近年研究趋势包括设计能自动学习共享特征和任务关系的网络,如Cross-stitch网络、多门专家混合模型(MMoE)、注意力机制应用等,进一步丰富多任务架构。,4,5]
专题介绍了如何将多任务学习具体落地到量化选股中。核心任务是对未来10日与20日收益率做截面排序预测,任务之间存在自然的相关性,适合多任务学习。
报告采用硬参数共享机制构建全连接神经网络(MLP),即前两层任务共享,第三层单独任务特异层执行差异化预测。
基线为单任务模型(stl),对比多任务模型(mtl_uw、mtl_dwa)和大小不同的隐藏单元数(64、256)配置。训练过程中,结合均方误差(加权MSE)作为损失函数,标签为收益率排序。采用半年滚动训练的交叉验证,保障模型稳定性。组合构建利用10日预测、20日预测以及两者等权集成分别做中证500指数增强组合回测。模型细节包括激活函数从Sigmoid改为LeakyReLU,批标准化取消,及多随机种子求均值增强鲁棒性。,7]
特征向量使用42个基本面和量价因子,包含估值(如市净率倒数)、预期(EPS增长率)、反转、波动率指标及多维度技术面因子等,全方位丰富信息捕捉能力。
综合因子评价指标:
参考图表12,所有多任务学习模型在加权RankIC均值和信息比率均超出对应单任务学习模型,尤其在隐单元数256时表现显著提升。
模型规模效应:
图表16和17显示,将隐单元由64扩展到256,模型性能明显提升,且多任务模型优于单任务模型优势放大。
时间序列稳定性分析:
以累计加权RankIC均值差异为例(图表18-20),多任务模型10日预测优势集中于2020年下半年至2023年初,20日预测集中于2011年至2015年上半年,10日与20日集成表现则较均匀且稳定。
对应累计超额收益差异(图表21-23)则表现较波动,模型提升未必完全转化为超额组合净值的持续优势,说明组合优化环节存在错配或其他实际交易限制。,12,13]
极端模型扩展测试:
进一步将隐单元扩展至1024,结果显示合成因子RankIC继续提升,且多任务学习持续优于单任务,但组合回测信息比率却明显下滑(图表24、25),反映模型复杂度增加带来因子合成和组合优化的错配,加大实盘应用难度,需针对性方法解决。,14]
任务间预测相关性分析:
表格显示多任务模型内部10日与20日收益率预测值相关性约为0.977,显著高于单任务模型的0.954,体现多任务训练使得子任务学习更协同,任务共享特征表现良好,有助提升模型整体稳定性和一致性。
报告对多任务学习原理、方法及股票预测应用进行了系统讲解和实证。主要总结:
本报告为技术深度研究,不包含传统意义上的估值模型、目标价设定或明确评级。因此无具体市场估值分析,但通过因子信息比率、RankIC和组合超额收益等多维指标评估模型“内在价值”。
报告通过对不同模型规模、架构及损失加权的实验比较,间接反映模型性能差异对量化策略潜在收益的影响,属于技术方法效用验证。
报告在末尾风险提示环节明确指出:
华泰证券本报告以严谨的多层次实证分析向读者全面阐释了多任务学习在量化选股中的潜力及具体实现路径。基于硬参数共享的全连接神经网络,同时预测多个收益率任务,利用动态加权策略优化整体模型训练,通过广泛因子输入实现深层次特征学习。实证结果显示:
整合华泰团队大量数据和模型输出结果,多任务学习代表了提升AI预测模型能力和泛化的有效方向,有望推动量化选股技术进步。报告的洞察和详实数据为行业内相关算法优化及实盘应用提供了重要参考和借鉴。
硬参数共享结构示意图
多任务学习提升RankIC均值对比(256隐单元)
多任务学习与单任务学习累计RankIC均值差(10日+20日集成)
以上分析深刻揭示了华泰证券《多任务学习初探》报告的基本思想、结构、技术实现和成果验证,以期为专业投资者和量化策略研究人员提供全面详实的指导与启发。
金工研究:I模型如何一箭多雕 多任务学习.pdf