本文系统介绍了多任务学习及其在量化选股中的应用。通过多任务硬参数共享神经网络同时预测未来10日与20日收益率排序,采用不确定性权重和动态权重平均两种损失加权方法。实证结果显示,多任务学习在因子测试和中证500指数组合回测中均优于传统单任务学习,且模型规模越大优势越明显。多任务学习提升了预测值相关性与稳定性,展现通才模型的潜力,但在更大模型规模下因子表现提升并未转换为组合收益改善,表明因子合成与组合优化错配问题仍需解决 。
报告聚焦于多任务学习机制在量化选股中的优势,通过以硬参数共享基础的全连接神经网络结构,同时预测未来10日和20日收益率排序,采用多种损失加权策略(uncertainty weight 和 dynamic weight average),展示了相较单任务学习(Single Task Learning, STL)的性能提升。主要发现包括:
总体呈现了多任务学习在量化投资领域从理论到实证的系统分析和验证,强调其作为“通才”模型的优势,和传统单任务“专才”模型的对比,1,17,18]。
报告初始通过类比人工智能通才与专才模型,启发多任务学习的现实意义。指出多任务学习符合智能系统中“通才”能力的培养,比如人脸识别同时识别年龄和性别,语言模型多功能应用等。强调量化选股中,不同时间区间收益率及其他指标(如夏普比率、Calmar比率等)均可作为不同任务目标,实现多目标学习的必要性。采用硬参数共享机制训练神经网络以预测不同收益率排序,结果表明多任务学习在因子测试和组合回测均有优势,尤其在模型规模扩大时表现更佳。
详细介绍多任务学习起源与发展。多任务学习利用任务之间的关联,共享信息,提高泛化能力。深度网络中主要采用两种共享机制:
硬参数共享(Hard Parameter Sharing): 底层多个任务共用隐藏层,上层独立,减少过拟合风险。
软参数共享(Soft Parameter Sharing): 各任务拥有独立模型,通过正则化使参数相似。
报告列举多任务学习三大优势:
多任务学习中损失函数加权策略至关重要,包括:
"uncertainty weight (UW)" :基于任务不确定性的权重自适应调整。
"dynamic weight average (DWA)":根据任务学习速率动态调整权重,均衡任务进展。
其他如几何均值策略(GLS)、随机权重损失(RW)等,3]。
图表3与4解读: 展示硬参数共享与软参数共享的网络结构对比,清晰表达多任务学习参数共享机制的实质,3]。
报告进一步回顾学术界近年来提出的创新结构,如cross-stitch网络、sluice网络、多门专家混合模型(MMoE),这些结构通过更灵活的共享与选择机制解决任务关系的动态建模和知识迁移问题。
具体到股票预测,报告借鉴Ma和Tan(2022)的方法,将list-wise(全体股票排序预测)作为主任务,point-wise(单只股票收益率预测)作为辅助任务,通过注意力机制动态迁移知识,提升排序预测效果。
图表5与6解读:
图表7解读: 详细体现了多任务学习在股票排序预测上的具体网络设计,包括共享编码层、特定任务编码层和预测层结构,体现了深层LSTM单元对时间序列数据的处理能力。
以周频中证500指数组建为基础,采用42个基本面与量价因子作为输入特征,设定未来10日和20日收益率排序为多任务预测指标。模型为多层感知机(MLP),分为任务共享层(前两层)和任务特异层(第三层)。损失函数采用均方误差,并使用uncertainty weight和dynamic weight average两种加权方式。交叉验证采用滚动训练方案,且改进点包括隐单元数从64扩大到256,激活函数改为LeakyReLU,剔除批标准化,使用5组随机种子求预测均值以稳定结果。
隐单元256下,多任务学习(无论UW还是DWA)在RankIC均值和信息比率(信息比率是收益率平均值与波动率的比值,衡量投资组合的风险调整收益)均优于单任务学习。
多任务学习优势既表现在线性组合两个预测的集成表现上,也出现在单个10日或20日预测任务中,集成收益表现最好。
图表12至15解读:
隐单元数64时,多任务学习在RankIC均值上优于单任务,但组合回测信息比率优势不明显,甚至集成模型单任务学习更优。
隐单元256时,多任务学习优势明显,说明多任务机制需要较大模型容量才能充分发挥。
规模较小时,多任务任务间可能“顾此失彼”。
图表16与17解读: 直观展示64与256隐单元下的RankIC均值和信息比率差异,明确模型参数规模对多任务学习表现的显著影响,12]。
多任务相较单任务的优势在时间上并非完全恒定,10日预测优势主要集中于2020年下半年至2023年初,20日预测优势集中于2011-2015年上半年。
采用10日和20日预测集成后,多任务学习展示更均匀、稳定的时间绩效,且整体优势明显。
从累计超额收益看,多任务学习优势波动较大,难以完全由因子改进同步转化,显示因子合成与组合优化之间存在错配。
图表18至23解读: 逐时间序列展示多任务与单任务在RankIC和超额收益的累积差异曲线,集成模型优势时序分布更均匀,整体表现更稳健,14,15]。
合成因子加权RankIC明显提升,多任务学习优势持续。
指数增强组合信息比率却下降,且多任务与单任务优势差异减弱,因子合成与组合优化的错配问题凸显。
图表24与25解读: 大规模网络下的性能表现趋势,因子层面提升更明显,投资组合实盘表现未必同步改善。
多任务学习内部10日和20日预测值的相关系数(约0.977)明显高于单任务学习(约0.954),体现多任务协同训练使得子任务间更紧密的学习关联。
反映未来10日收益率本身包含在20日收益率中,真实物理关联性较强,多任务模型更好地利用这种逻辑关联,17]。
图表26解读: 预测值相关性矩阵表格,明确数值差异及其蕴含的协同训练效果。
(图表顺序及页码见各章节内引用)
图表1(页1):
显示多任务学习改进组合累计超额收益曲线高于单任务基线,最大回撤明显低于单任务,收益风险调整表现突出。
图表3/4(页2/3):
结构示意图生动展示硬参数共享(共享底层,任务特定顶部层)和软参数共享(独立模型参数,通过正则化关联)的机制细节。
图表5/6(页4/5):
多任务网络进阶结构,如cross-stitch网络和多门专家混合模型示意,说明复杂多任务学习设计实现动态共享与任务差异化。
图表7(页6):
多任务学习应用于股票排序问题的多层架构模板,涵盖共享编码、特定层和注意力机制,揭示结构设计原则。
图表9(页7):
本报告模型的网络层流程示意,前两层共享,第三层任务専用,明晰模型训练与预测输出流程。
图表14-17(页11-12):
展示不同模型及损失加权方式的RankIC和信息比率,特别突出256隐单元大小模型下多任务模型的优势。
图表18-23(页13-15):
通过时间序列累积差异折线,直观反映多任务优势的时变表现以及预测值和组合收益的波动情况。
图表24-25(页16):
参数规模扩展至1024隐单元后性能变化,两大关键指标分化,引发对因子合成与组合优化割裂的反思。
图表26(页16):
预测值相关性矩阵,体现多任务模型子任务间的更高结构相关性和任务协同效应。
如需,可通过以下Markdown格式引用图片:
本报告属技术和模型研究类,不涉及对某公司股票的传统财务估值(DCF、市盈率等),因此无直接估值分析章节。研究核心集中于模型性能比较、策略超额收益表现及信息比率指标评估,体现模型效率及实用性。
报告明确了多项风险及假设局限:
以上风险提示增强了报告的客观性,提醒读者模型和策略应用时需谨慎权衡实际交易环境与模型假设间的差异。
整体而言,报告客观严谨,分析全面,但存在传统深度神经网络与多任务方法较为保守、实际应用限制未完全解决的局限。
本报告全面系统地介绍了多任务学习的基本理论、历史沿革及其在量化选股领域的应用。通过实证分析,报告证实多任务学习机制(特别是基于硬参数共享的深度神经网络模型)在预测未来不同时段(10日和20日)收益率排序时能够显著提升因子排序效能(RankIC提高0.1%及以上),同时提升组合信息比率,尤其在较大模型(隐单元数256及以上)中表现更为突出。
核心创新是以协同训练两个相关时序预测任务,利用损失加权机制平衡各任务训练进度,实现任务间知识迁移和特征共享,从而比单任务模型获得更稳定、更高效的预测结果。经由任务预测集成进一步提升预测稳定性和泛化能力,体现多任务“通才”智能网络的潜力。
从时间序列分析视角,多任务学习的优势虽存在波动,但通过集成多任务预测,优势时序分布更均匀,表现更加稳定。预测值相关性分析显示多任务学习促进了不同任务预测输出的协同性。
尽管在因子评估指标方面多任务学习效果显著,当扩大模型规模时,因子综合指标提升未能同步转化为更好的指数组合信息比率,提示因子合成与组合优化存在错配问题及潜在瓶颈,亟待未来研究对此加以解决。
风险提示充分显示模型及策略存在历史依赖风险、过拟合风险及假设理想化问题,实际部署仍需谨慎。
综合来看,报告展现了多任务学习机制在量化投资领域的广阔前景和实证价值,推荐关注其在模型规模扩张、任务多样化、加权策略优化及交易实际环境适配等方面的后续研究。报告观点合理,数据支撑充分,图表丰富,具有较高的技术研究与应用参考价值。
以上即为对《华泰金工 | AI模型如何 箭多雕 多任务学习》研报的详尽且结构清晰的全面分析解读。
华泰金工 | AI模型如何一箭多雕:多任务学习.pdf