本报告介绍Sharpness Aware Minimization(SAM)及其改进算法在提升AI量化模型泛化性能中的应用。基于GRU模型,采用SAM及四种改进优化器进行对比实验,结果表明SAM优化器显著降低过拟合风险,提升模型多头端因子收益,并推动沪深300、中证500和中证1000指数增强组合年化超额收益分别达到10.9%、15.1%和23.1%,信息比率最高达3.12,综合性能优越。2024年表现尤为突出的ASAM模型进一步提升超额收益约5个百分点,验证了SAM优化器对量化投资模型稳定性的有效促进
| 实验名称 | RankIC均值 | RankIC波动率 | RankICIR | RankIC胜率 | TOP组收益率 | TOP组胜率 | TOP组信息比率 |
|---|---|---|---|---|---|---|---|
| 基线 | 13.62% | 10.40% | 1.31 | 90.49% | 30.26% | 60.28% | 3.86 |
| SAM | 13.51% | 10.46% | 1.29 | 90.39% | 30.50% | 60.38% | 3.81 |
| ASAM | 13.46% | 10.41% | 1.29 | 90.39% | 30.61% | 59.75% | 3.86 |
| GAM | 13.59% | 10.41% | 1.30 | 90.76% | 31.39% | 61.66% | 3.97 |
| GSAM | 13.59% | 10.41% | 1.31 | 90.65% | 31.25% | 61.07% | 3.98 |
| FSAM | 13.56% | 10.35% | 1.31 | 90.87% | 31.41% | 61.02% | 4.04 |
报告首先从AI量化模型泛化能力提升的角度阐述正则化的重要性。泛化性能反映模型对未知数据的预测能力,避免过拟合是关键。正则化旨在引导模型学习数据背后的普适规律而非记忆训练样本。多种正则化策略包括显式正则项(L1、L2)、早停、Dropout、数据增强等。本文聚焦SAM优化器——一种从优化器角度引入平坦极小值的正则化技术,通过优化损失函数平坦度,提升模型鲁棒性和泛化性能。, 2]
报告详细梳理了正则化的分类(显式与隐式),并说明传统优化器(SGD及其变体如Adagrad、RMSprop、Adam、AdamW等)在训练时只追求最小化训练损失,易陷入“尖锐极小值”,导致泛化能力较差。相比之下,SAM优化器通过同时最小化损失值和权重附近损失变化幅度,避免尖锐极小值,转而寻找平坦极小值点,从根本上改善泛化能力。, 4]
报告从数学定义出发,讲解了损失函数地形——损失值关于高维模型参数变化的曲面结构。平坦极值处的损失函数对参数轻微扰动不敏感,有助于提升模型对测试数据的稳定性。SAM优化器不再单纯以某权重点损失最小化为目标,而优化该点邻域内的最大损失(扰动范围内最大值),公式表达为:
[ L_{\mathcal{S}}^{SAM}(\mathbf{w}) = \max_{|\epsilon|p \leq \rho} L{\mathcal{S}}(\mathbf{w} + \epsilon) ]
算法实现中,SAM通过两次梯度计算(先计算梯度方向扰动,再用扰动后的点计算更新梯度),确保权重更新朝向平坦极小值区域移动。伪代码与示意图详细展示了该流程,凸显了SAM相较传统优化的技术突破。, 6]
报告介绍了多种基于SAM的改进算法,分为两大类:性能优化和计算效率优化。性能改进方向主要提升锐度衡量的准确性和扰动的自适应性,代表算法包括ASAM(自适应扰动半径)、GSAM(引入surrogate gap度量并改进梯度方向)、GAM(结合零阶和一阶平坦度)和FSAM(剥离扰动方向中的全梯度成分以减少负面影响)。各算法均附带伪代码和示意图印证理论改进。效率优化方向则聚焦减少计算开销,本文未重点涉猎。, 8, 9]
报告采用端到端GRU量价因子挖掘模型作为基线(两个GRU分别提取日K线与周K线特征,合成单因子),借助此前研究成果确定模型构建细节。训练数据涵盖近10年,验证与测试集均为1年,滚动训练。输入特征经过严密预处理(去量纲、去极值、标准化、中性化等),标签为未来10日收益率。批次大小为5000,训练采用IC指标反向优化,早停机制设定详实,并用5组随机种子取均值保证稳健性。
五组SAM优化器及改进版本均以AdamW为基础优化器,使用统一学习率和超参,避免变量干扰。SAM扰动半径系数等关键参数均依据文献推荐进行设置,保证合理性及对比公正。, 10]
通过训练过程中验证集IC(信息系数)和IR(信息比率)变化趋势对比,SAM模型相较基线更稳定,性能峰值提升,且指标下降更缓和,明确反映了过拟合抑制作用。损失函数地形图(借助PCA降维成二维损失等高面)更显著体现SAM的平坦极小值特性:训练集上,基线模型地形等高线密集波动剧烈,SAM模型更平滑均匀;测试集上,SAM模型损失明显更低,泛化误差更小。, 12]
6组实验对比中,预测因子RankIC均值及波动基本持平,SAM并未显著提升RankIC,但多头端的TOP层年化收益及信息比率明显优于基线,具体来看FSAM、GSAM和GAM表现最优,单因子TOP组回测净值及分层回测净值均领先。这表明SAM优化器增强了因子多头端的预测准确性及收益质量,提升量化信号的实用价值。, 13]
基于模型预测因子构建的沪深300、中证500和中证1000三个指数增强组合均表现出SAM模型优势:
三指数增强组合均在累计超额收益曲线及月度绩效表现中显示出SAM模型优异的稳定性和收益领先优势。2024年三模表现也较基线超额领先约5个百分点,彰显改进优化器的实战潜力。
研究总结强调SAM优化器作为一种低成本且通用的正则化方式从优化器视角提升模型泛化性能的理念,及其在AI量价因子模型中的具体应用成果。GSAM综合表现最佳,ASAM在2024年表现突出。研究同时指出当前工作仍有未覆盖领域,例如未对SAM参数做大范围调优,未涉及效率改进型优化器,未来可融合多方向改进创造更优算法。
图表1(基线模型与GSAM累计超额收益,基准中证1000)
该图表显示GSAM模型累计净值远超基线,且回撤控制良好(回撤以彩色条显示,GSAM回撤幅度一般低于基线),表明模型优化后风险收益表现明显提升。
图表2(基线模型与GSAM回测绩效对比)
对比沪深300、中证500、中证1000三大指数增强组合关键指标,GSAM在年化收益率、夏普率、信息比率等方面均优于基线。尤其是在年化超额收益和信息比率上差异明显,强化了GSAM算法带来的收益提升效果和风险调节能力。
图表3(模型泛化性能示意图)
通过训练误差、测试误差与模型复杂度的关系曲线,直观展示了欠拟合、过拟合与最佳泛化之间的平衡理论基础,为后续SAM目标的介绍铺垫基础。
图表4(正则化方法分类)
分类清晰,将显式L1/L2正则和BatchNorm与隐式早停、Dropout、数据增强、集成等分区,定位SAM属于基于优化器求解“平坦极小值”的类别,增强理论框架完整性。
图表5(传统优化器汇总)
列出了SGD、Adagrad、RMSprop、Adam、AdamW等经典优化器的数学表达、特点与局限,有助理解它们为何不能有效避免尖锐极值,凸显SAM必要性。
图表6(尖锐极小值与平坦极小值对比地形图)
三维曲面展示了两类极小值:左图“尖锐”,右图“平坦”,告诉读者在传统优化器易陷尖锐极小值,泛化能力弱而SAM优化平坦极小值点。
图表7与8(损失函数地形三维和平面示意)
通过主成分降维展示高维损失空间解读思路,实现对权重空间曲面直观认知。
图表9(平坦与尖锐极值示意)
图展示两种极值点对应训练与测试集损失的差异,说明为何平坦极小值更鲁棒,是泛化性能提升的根本。该图理论解说 SAM设计理念关键。
图表10与11(SAM算法示意及伪代码)
梯度下降步和计算扰动过程细化示意,直观理解SAM“两次梯度计算”策略。
图表12至20(SAM及改进版本伪代码与示意图)
这些图表详细阐述各改进方法的数学步骤及算法核心机制,如ASAM自适应尺度、GSAM投影垂直梯度分量、GAM引入零阶一阶平坦度、FSAM分解扰动方向排除负面成分,有助理解不同改进的设计出发点及效果。~9]
图表21、22(基线模型结构及训练信息)
说明模型采用双GRU网络分别情况高频(日线)和低频(周线)特征融合,训练细节详尽,数据预处理严谨,支持研究结论可靠性。, 10]
图表23(各优化器超参数设置)
统一基础AdamW优化器参数,细节参数差异集中在扰动半径及权重,保障实验对比公平。说明5组模型均在合理参数设定下训练。
图表24、25(训练过程验证集IC和IR变化)
曲线展示模型训练泛化表现,SAM模型稳定性强、峰值高且下降缓,说明更好泛化能力。
图表26至29(基线与SAM训练轨迹损失面等高线)
PCA降维二维空间展示不同优化器路径轨迹和损失曲面。SAM轨迹所在平坦区域较大且均匀,训练和测试集损失更低,表征训练时权重稳定变化及泛化优势。
图表30~34(单因子预测因子表现统计和回测净值)
表格指出平均RankIC变化不大但多头收益显著提升,图表显示TOP组净值明显优于基线,验证了SAM对多头端预测能力的强化。, 13]
图表35~50(指数增强组合回测指标、净值及2024年表现)
综合沪深300、中证500、中证1000三大指数组合历年及近年(2024)表现,所有SAM优化器结果均稳胜基线,GSAM与ASAM尤为突出。详细指标包括年化收益、波动、夏普、回撤、超额收益Calmar比率、信息比率、月度超额收益等,充分支持报告中提出的SAM带来泛化提升和收益改善,且影响稳健且持久。~19]
其中:
本报告未涉及传统意义上的公司估值内容,因其为模型优化器在量化选股模型中的研究,核心在于优化器改进如何提升模型泛化能力和投资组合表现,估值部分重点是效果验证。收益率、风险调整指标等量化业绩指标即为“估值”体现。
报告明示的风险提示包括:
报告未给出具体缓解方案,仅提示投资者需谨慎理解模型适用范围和局限。
总体而言,报告预测合理,论述充分,但未来可更加细致全面深入参数和算法交叉验证,提升研究的稳健性和推广潜力。
本研究系统性地介绍了Sharpness Aware Minimization(SAM)优化策略及其多种改进版本(ASAM、GSAM、GAM、FSAM)在AI量化领域深度学习模型(GRU)中的应用,评估其提升模型泛化能力和投资组合表现的能力。通过丰富的数学定义、可视化图形、实验设定和指标核验,报告呈现出:
结合丰富图表(损失地形、收益曲线、指标对比),报告科学且严谨地证明了SAM优化方法为AI量价因子挖掘模型带来系统且持续的性能提升,具备良好的实用潜力和推广意义。
未来研究可进一步探索参数调优、效率优化算法搭配、多重SAM改进联合应用,以及更广泛市场环境下的表现稳健性分析。同时,投资者应警惕市场变迁风险及模型假设前提,结合实际交易条件谨慎运用相关技术策略。
报告中的重要推断及数据均有明确页码来源标注,保证内容可追溯。
华泰金工 | SAM:提升AI量化模型的泛化性能.pdf