本报告系统比较了多种优化器在基于MambaStock模型预测标普500指数回报中的表现。结果显示,Adam和RMSProp等自适应学习率优化器达成最低测试误差,而Lion优化器训练速度最快。为平衡速度与误差,本文提出Roaree系列优化器,通过平滑Lion的符号函数实现训练稳定性提升,与Lion相比具有更平滑的收敛曲线和较低的测试误差,展现出在金融时间序列模型训练中的潜力和应用价值。
| 优化器 | 曲率κ | 学习率 | 权重衰减 | 验证集MSE | 测试集MSE | 平均训练时间(s/epoch) |
|---|---|---|---|---|---|---|
| Roaree-norm | 1000 | 0.001 | 0.1 | 0.001521 | 0.001621 | 0.2559 |
| Roaree-softsign | 1000 | 0.001 | 0.1 | 0.001154 | 0.001351 | 0.2656 |
| Roaree-sigmoid | 1000 | 0.001 | 0.1 | 0.0006972 | 0.0008159 | 0.2512 |
| Roaree-erf | 10 | 0.01 | 0.1 | 0.001213 | 0.001508 | 0.2451 |
| SGD+Momentum | NaN | 0.01 | 0.1 | 0.0004864 | 0.0004946 | 0.2468 |
| Nesterov | NaN | 0.01 | 0.1 | 0.0003234 | 0.0003165 | 0.2483 |
| Lion | NaN | 0.001 | 0.1 | 0.002301 | 0.003588 | 0.2452 |
报告标题:From Rattle to Roar: Optimizer Showdown for MambaStock on S&P 500
作者及机构:Maria Garmonina 和 Alena Chan,均来自哥伦比亚大学应用数学和计算机科学系
发布日期:2025年7月(arXiv预印本版本)
主题:该报告聚焦于利用MambaStock状态空间模型对标普500指数周收益进行预测过程中,不同优化器在训练速度和预测准确性上的表现比较,以及提出一种名为Roaree的新型优化器族。
该报告旨在针对金融时间序列预测任务(具体为预测未来一周的标普500指数收益)采用基于Mamba架构的MambaStock模型,深入比较各类常用优化算法(如Adam、RMSProp、Lion等),评估它们在训练速度和预测精度上的表现差异。核心贡献还包括设计新型Roaree优化器家族,将Lion优化器的训练速度优势与平滑收敛相结合,解决Lion训练过程中损失值振荡大的问题。报告主题切入在当前金融领域机器学习模型的优化训练问题,重点突出速度与准确度之间的权衡,为金融交易策略构建提供理论及实践指导。
该报告无传统“买入”或“卖出”等评级,目标是实现算法层面模型训练的效率与性能提升。主要信息为:
引言部分指出Mamba状态空间模型因其线性时间复杂度和长序列处理能力,在金融时序预测领域表现突出。报告聚焦MambaStock模型,对标普500指数未来收益进行预测,尤其关注优化器选择对训练效率和预测精度的影响。提出的研究目标包括比较不同优化器的效果并设计新优化器以同时满足速度快和误差低的需求。
这里的关键论点是训练过程本质为优化问题,选对所用的算法(优化器)会显著影响模型表现,尤其在数据噪声较大且收益率变化微妙的金融时序中尤为关键。
综合分析了传统时间序列方法(ARIMA、Kalman滤波)对非线性和市场冲击处理不够,随后展示状态空间模型及其变体如何突破长序列处理瓶颈,且计算效率优于基于注意力机制的Transformer模型。
重点介绍Gu等人提出的S4模型,以及基于此优化出具备硬件并行能力的Mamba模型,突出其输入依赖参数调整的灵活性,能够关注重要信息,实现快速高精度的时序推断。
指出针对MambaStock的优化探索尚不充分,尤其是针对金融数据特性设计优化器的研究缺失,Lion优化器虽新但尚未广泛用于金融时序的Mamba模型。
这为后续实证对比新颖优化器打下基础。
数据方面,报告使用了2000年至2019年每周标普500指数数据,包含前瞻一周收益为预测目标,融合10个技术指标、3个估值比率及2个市场情绪指标,数据集细节在表1展示,数据处理保证训练、验证、测试时序因果关系严谨。
模型方面,固定采用MambaStock的2层隐层、64隐藏单元设置,不做网络结构调整,只变更优化器以探究训练动态。
基线优化器包括8种流行方法(如SGD、Nesterov动量、Adam、AdamW、以及Lion)。
Roaree优化器基于Lion,通过用曲率超参数控制的平滑替代符号函数(sign)构造多个变体,降低Lion固有的震荡性。
训练策略统一为64个epoch,严格搜索学习率、权重衰减超参数,记录平均每epoch时间及多种误差指标(MSE、RMSE、MAE、解释方差系数R²、方向预测准确率),保证对比公平。
描述了模型输入特征的构成:历史收益、技术指标(如ADX、CCI、MACD、RSI)、估值比例(账面价比率PB、市盈率PE)及市场情绪分数等,涵盖价格趋势强度、波动率、动量、买卖超买超卖信号等金融常用指标。
这表格突显数据多维度融合,说明模型综合利用技术、基本面、情绪信息提升预测能力的背景。
该图为散点图,横轴是每轮平均耗时,纵轴是测试集均方误差(对数尺度),各点映射不同优化器及其最速(圆形)和最低误差(三角形)配置。
可见Nesterov, RMSProp, Adam及带Momentum的SGD组合点集中于低误差区,但平均时间稍长。Lion以最快训练时间明显优于其他优化器但测试误差未达到最低水平。AdamW表现不佳,验证了文本所述过度正则化影响性能。
此图直观反映速度与预测误差间的权衡特性,支持选择时需根据应用场景权衡。
横轴为学习率,纵轴为权重衰减,色彩表示验证MSE的大小。不同优化器的色彩分布表明其对超参数敏感度差异。
Lion优化器显现出更宽泛的低误差区域,显示其在大规模调参或极端超参环境下的鲁棒性。相比之下,Adam及其变体对超参数调节需求较为精细。
表明选择优化器时需要结合超参数灵敏度考量,这对大量实验探索尤为关键。
图3对比测试MSE与时间,Roaree不同平滑替代形式普遍优于Lion,部分接近Adam和RMSProp,但整体不及后两者全网格最优值。
图4绘制了Roaree各种替代符号函数与Lion在训练过程中的MSE变化,Roaree表现出更平缓的震荡,Lion则有显著振荡,导致训练不稳定。
最佳的Roaree形式是使用误差函数(erf)曲线替代符号函数,κ=10时表现最佳,不仅训练快且误差较低。
这些图强化了设计平滑更新的重要性,及其带来的精度与稳定性提升。
记录了各种优化器最佳超参配置与对应的测试及验证MSE、平均epoch时长。
Baselines中,Nesterov与RMSProp测试MSE最低,Lion错误较大但epoch时间最短约0.2452秒,Roaree’s erf surrogate在0.2451秒,测试MSE中等偏优。
进一步支持报告对优化器性能的实证结论与选优建议。
这组图展示了各优化器在测试MAE、MSE、RMSE及方向准确率上的表现随训练时间的关系,且分辨最速和最优配置。
均显示Adam、RMSProp、Nesterov表现稳定优于其他优化器,Lion更快但存在精度瓶颈,SGD表现最差。
方向准确率指标突出动量和自适应算法的实用价值,均在约65%-70%区间徘徊。
这类细粒度指标支持多维度评价优化策略,而非单一MSE,可以更好说明金融预测任务的复杂性。
该报告并未涉及传统意义上的企业估值估价部分,报告聚焦于模型性能评估和算法层面优化。因此未涵盖估值模型、DCF、PE等财务估值内容。
报告中讨论的风险关键点主要体现在方法论与实际操作层面:
本报告围绕金融时序预测中的优化器选择展开详尽实验和分析,主要结论包括:
总之,报告对于金融机器学习尤其是状态空间模型优化层面的研究贡献明确,优化器选择及其性能权衡为金融模型开发者提供了科学依据和实践参考。
本报告较全面系统地评估了标普500指数预测任务中,采用MambaStock状态空间模型时,各主流和新型优化器的表现。通过实验与理论结合,作者清晰揭示了训练速度与预测准确度的权衡困境,并创新性地提出了Roaree优化器族为解决Lion振荡问题提供了可行路径。论文结构严谨,包含详细的数据说明、基线比较、超参数调优、丰富图表和收敛性质分析。其发现对于金融量化策略快速开发和调试有实际指导价值,未来工作指出了优化器进一步提升的方向。
本次分析涵盖了数据、算法、性能、多样指标、超参数敏感度及实际训练动作的全流程解读,并就报告的薄弱和未来潜在改进提出了审慎建议。
(全文共计约2400字。)
2508.04707.pdf