本文研究如何通过神经网络校正器与随机森林残差学习模块,适配冻结的TimesFM基础模型,用于科技股开盘首小时高频收益预测。基于10只大型科技股、超过200万条数据和12组模型变体的消融实验,GatedLinear+RF取得最佳综合表现,平均日内相关系数达到0.373,较TimesFM基线的0.059显著提升, pooled correlation达到0.597;随机森林残差学习贡献最大,自注意力是最有效的神经组件,而参数更少的简单结构在结合经典机器学习后表现出更优的参数效率。
报告标题为《Hybrid Neural-Classical Correction for Frozen Time Series Foundation Models: A Comprehensive Ablation Study on High-Frequency Stock Prediction》,可译为《面向高频股票预测的冻结时间序列基础模型神经—经典混合校正:一项全面消融研究》。作者为 Kasun Dewage、Suranadi De Silva 和 Shankhadeep Mondal,分别来自美国中佛罗里达大学数学系及计算机科学系;报告没有在所给文本中明确标注正式发布日期,但代码仓库名称包含“2026”。 研究主题是:在不修改、不微调 TimesFM 基础模型参数的情况下,通过轻量级神经校正器和随机森林残差模型,提升其在美股开盘后一小时高频收益率预测中的表现。
报告的核心观点是,通用时间序列基础模型虽然具备较强的零样本泛化能力,但直接用于高频金融数据时可能失效,因此更有效的适配方式未必是昂贵的全模型微调,而可能是将冻结的基础模型作为预测基线,再叠加神经网络和经典机器学习模型进行外部校正。 研究最终认为,GatedLinear+RF 是综合表现最好的方案,其平均日内相关系数达到 0.373,合并相关系数达到 0.597,相较冻结 TimesFM 的 0.059 有显著提升;同时,随机森林残差学习的贡献几乎不低于神经校正模块。
需要指出的是,报告并未给出传统金融研究意义上的“买入/持有/卖出”评级,也没有股票目标价。它更像是一篇机器学习方法和实验性研究论文,而非针对某一家上市公司的证券研究报告。
报告介绍了 TimesFM、Chronos 和 Lag-Llama 等时间序列基础模型。TimesFM 是一个拥有约 2 亿参数的 decoder-only Transformer,使用超过 1000 亿个时间点进行预训练,数据包括 Google Trends、Wikipedia 页面浏览量和合成数据。 这些模型在电力、天气、交通等标准数据集上能够取得较好的零样本预测效果,但作者认为,标准基准上的泛化能力并不等同于在高频金融市场中的有效预测能力。
对于本研究场景,冻结 TimesFM 的平均每日相关系数仅为 0.059,接近无信息预测,说明模型输出与真实开盘后一小时收益率的日内时间结构之间联系很弱。 这一结果构成了研究的出发点:基础模型可能拥有通用时间依赖建模能力,却没有充分适应金融市场的微观结构、非平稳性、厚尾分布和隔夜信息冲击。
研究对象是开盘后的 9:30—10:30,即连续 60 个一分钟收益率;输入则包括前一交易日常规交易时段以及当日 4:30—9:29 的盘前数据。 作者选择开盘后一小时,是因为该时段通常需要迅速消化隔夜新闻、盘前交易和信息不对称,价格波动可能高于普通时段。 每个样本的盘前张量为 (300\times7),即 300 个一分钟 bar 和 7 个特征:归一化 OHLC 四项价格、对数成交量、bar-to-bar 动量和日内波动率。
此外,模型还使用 21 维多尺度特征,包括 5、15、30、60 分钟窗口上的收益、波动率、成交量统计,以及隔夜跳空指标。 这种设计体现了“原始序列+人工构造统计特征”的混合思想:神经网络负责处理序列,随机森林负责利用结构化特征。
图1展示了两类模型共有的流程:首先由冻结的 TimesFM 产生 60 分钟基础预测;随后,AttnCorrect 或 GatedLinear 根据盘前序列、TimesFM 输出和多尺度特征生成神经校正量 (\Delta y_{\text{neural}});最后,随机森林对神经校正后的残差进行学习并输出最终预测。
图中明确区分了冻结部分与训练部分:TimesFM 的 2 亿参数完全不更新,只有轻量级校正模块和随机森林被训练。 随机森林设置为 250 棵树、最大深度 12、叶节点最少样本数为 3;训练目标还加入方向性损失,整体损失由均方误差、方向损失和累计收益损失构成,权重分别为 1、0.3 和 0.2。 这说明作者并不只追求逐点数值误差,还希望模型能够预测收益的方向和累计变化。
AttnCorrect 先把 (300\times7) 的盘前序列映射至 128 维隐藏空间,再经过 LayerNorm、GELU、Dropout 和两层 Transformer 编码器。其自注意力部分采用 4 个头,每个头的维度为 32,前馈层规模为 128→256→128,最终通过平均池化得到盘前序列表示。
图2显示,注意力序列表示会与 TimesFM 60 维预测以及 21 维多尺度特征分别编码后的表示拼接,形成 384 维融合输入,再经过融合 MLP 和输出 MLP,生成 60 维神经校正量。 该模型约有 47.1 万个可训练参数,输出层采用零初始化,以便训练开始时尽量接近原始基础模型预测。
注意力机制的理论优势是能够对 300 个盘前时点进行动态加权,而不是假设所有时间点同等重要。实验结果也支持这一点:加入自注意力相较均值池化,使平均日相关系数提高约 0.099,RMSE 从 0.1922% 降至 0.1740%。 不过其优势主要体现在日内时间结构建模,而不是跨日方向预测,因为其跨日相关贡献只有约 0.035。
GatedLinear 的核心是低秩双线性投影。它用 (V\in R^{300\times8}) 压缩时间维度,用 (U\in R^{7\times4}) 压缩特征维度,计算 (Z=V^TXU),得到 (8\times4) 的矩阵,再展平为 32 维向量。 该双线性部分仅使用 2,428 个参数,显著减少了对原始 (300\times7=2,100) 维输入的计算负担。
图3显示,压缩向量、21 维多尺度特征和 TimesFM 的 60 维预测拼接为 113 维输入,经过两层 MLP 后分成两条支路:一条计算校正残差 (r),另一条通过 Sigmoid 生成 0 到 1 之间的门控向量 (g),最终以逐时间点乘积形成 (\Delta y=g\odot r)。 门控机制的设计逻辑是:模型在有把握时进行较强校正,在不确定时减小修正幅度。
GatedLinear 总参数约 4.9 万,远低于 AttnCorrect 的 47.1 万。报告称其“9 fewer”或“9× fewer”参数,文本不同位置存在表述不一致;从 471K 对比 49K 看,更准确的含义应是约少一个数量级、约 9.6 倍,而不是仅少 9 个参数。 这种内部表述应在正式版本中统一。
研究覆盖 10 只大型科技股:NVDA、MSFT、AAPL、GOOG、GOOGL、AMZN、META、AVGO、TSLA 和 NFLX,总计超过 200 万个数据点。 样本区间大致为 2024 年 12 月至 2026 年 1 月,每只股票约 266 个交易日,但 NFLX 因数据可得性只有 149 天。 股票波动率差异明显,MSFT 约为 0.001000,TSLA 约为 0.001988,后者约为前者的两倍,能够检验模型在不同波动环境下的稳健性。
数据泄漏防范措施较为严格:输入只使用开盘前数据,标签只使用 9:30—10:30 数据;按照交易日时间顺序划分训练、验证和测试集;归一化波动率只使用训练期数据;神经模块和随机森林只能在训练集上拟合,验证集仅用于早停。 这些设置避免了随机打乱时间序列造成的前视偏差。
训练方面,所有实验固定随机种子 42;AttnCorrect 和 GatedLinear 分别使用 AdamW,学习率为 (5\times10^{-4}) 和 (8\times10^{-4}),权重衰减为 (10^{-4}),并配合梯度裁剪和早停机制。 但固定单一随机种子虽然有利于复现,并不能衡量结果对随机初始化和样本划分的敏感性。
报告使用 MAE、RMSE 以及三种相关系数。平均日相关系数 (\rho_{\text{day}}) 是逐日计算 60 个预测值与真实值的 Pearson 相关后再求平均,主要衡量单个交易日内的时间形状预测;跨日相关系数 (\rho_{\text{cross}}) 比较每日累计预测收益和实际累计收益,衡量模型能否判断哪些交易日整体上涨或下跌;合并相关系数 (\rho_{\text{pool}}) 则把所有天、所有分钟拼接后计算,容易受到不同交易日波动率差异的影响。
这种区分非常重要。例如,一个模型即使不能准确预测某日内的具体分钟节奏,只要能够识别“高波动日”和“低波动日”,合并相关系数也可能较高。因此作者认为平均日相关系数对日内交易更保守、更有解释力,同时建议未来研究同时报告三种相关指标。
表III按照 RMSE 排序,比较 10 只股票的聚合表现。最优的 GatedLinear+RF 的 RMSE 为 0.1535%,MAE 为 0.1079%,平均日相关系数为 0.373,合并相关系数为 0.597。 冻结 TimesFM 的平均日相关系数为 0.059,因此绝对提高 0.314,约达到原来的 6.4 倍;这里的“6.4 improvement”更准确地应理解为倍数提升,而不是增加 6.4 个相关系数点。
AttnCorrect+RF 的跨日相关系数最高,为 0.582,说明它在预测每日整体方向方面略胜;GatedLinear+RF 则在平均日和合并相关系数上领先,说明它更擅长整体日内结构和综合预测质量。 表III因此揭示了不同指标对应不同模型能力,不能仅凭单一相关系数判断模型优劣。
表IV比较了两种完整混合模型与冻结 TimesFM 在各股票上的 RMSE、平均日相关系数和合并相关系数。 GatedLinear+RF 在 10 只股票中有 7 只取得最低 RMSE,并且在 AVGO、TSLA 等高波动股票上表现尤其突出。 NVDA 和 AVGO 的相关性改善最大,表明混合校正可能特别适合存在显著盘前信息和高开盘波动的股票。
AAPL 的结果体现了指标差异:GatedLinear+RF 的平均日相关系数只有 0.171,但合并相关系数达到 0.347,意味着模型可能更擅长捕捉不同交易日之间的波动或方向差异,而不一定能够精确重建每个交易日内部的分钟级节奏。 这也支持作者对合并相关系数可能被跨日结构“抬高”的警告。
表V研究各组件被移除后的变化。随机森林是贡献最大的单一组件:在 GatedLinear 中加入 RF 后,平均日相关系数从 0.215 提升至 0.373,即增加 0.158,跨日相关系数增加 0.257,RMSE 下降 10.2%;在 AttnCorrect 中,RF 使平均日相关系数从 0.234 提升至 0.368,增加 0.134,跨日相关系数增加 0.199,RMSE 下降 11.1%。
这说明 RF 的优势尤其集中在跨日方向预测方面。作者将其归因于 RF 直接利用 21 维人工构造的多尺度统计量,并能够通过树结构捕捉非线性交互、处理异常值以及学习神经网络遗漏的残差模式。
消融还发现,去掉双线性投影后,GatedLinear-NoBilinear 的平均日相关系数达到 0.342,而保留双线性但去掉 RF 的 GatedLinear-NoRF 只有 0.215;去掉双线性使相关系数提高 0.128,RMSE 改善 6.4%。 原因可能是 2,100 个输入维度被压缩至 32 维,压缩比例约 65:1,损失了近期盘前交易的细粒度动态;NoBilinear 直接使用最近 60 个盘前 bar 展平为 420 维,因此保留了更丰富的近端信息。
另一个结果是,去掉门控后性能反而略有提升,移除门控带来约 0.072 的平均日相关改善。 这表明门控机制虽然具有直观解释,但在当前数据和损失函数下可能增加了不必要的限制,或者其学习到的逐时间点置信度并不稳定。
本报告没有股票估值、DCF、P/E、EV/EBITDA、目标价或投资评级,因此不存在传统意义上的估值分析。其“性能价值”主要通过 RMSE、MAE 和相关系数来体现:模型是否能更准确地预测 60 分钟收益率,以及是否能识别日内和跨日方向。
不过,高相关系数并不自动等于可交易收益。报告明确没有建模交易成本、滑点、市场冲击和容量约束,因此 0.373 的平均日相关系数或 0.597 的合并相关系数不能直接转换为投资组合收益率。 此外,预测的是开盘后一小时,不代表策略在真实市场中能够以相同价格成交。
报告明确承认研究只覆盖 10 只大型科技股,测试期只有约 40 天,样本外周期较短,因此结果可能受特定市场环境影响。 研究只测试 TimesFM,没有验证 Chronos、Lag-Llama 或其他基础模型,因此无法证明该混合框架对所有时间序列基础模型都同样有效。
另一个重要风险是基线过低。TimesFM 的平均日相关系数只有 0.059,因此从较低起点取得 0.373 会产生很大的相对改善,但这并不意味着绝对预测能力已经足够强。 同时,盘前数据对开盘后一小时可能天然更有预测力,结果未必能够推广到午盘、收盘或全天收益预测。
方法上还存在几个需要谨慎解读之处:
总体而言,该研究的最重要发现不是 TimesFM 本身适合股票预测,而是冻结基础模型之后,外接一个设计合理的校正层仍然可能带来显著改善。 混合模型将平均日相关系数从 0.059 提高至 0.373,合并相关系数达到 0.597;其中随机森林残差学习的贡献达到 0.134—0.158,甚至超过部分神经结构的边际贡献。
图表和消融结果共同说明三点:第一,经典机器学习并未因基础模型出现而失去价值;第二,自注意力是神经组件中最有价值的部分,主要改善日内时序建模;第三,低秩压缩和门控并非必然有效,过度压缩可能牺牲近期市场信息,而 RF 可以部分弥补这一缺陷。
因此,作者的总体建议是:适配冻结基础模型时应优先考虑神经—经典组合,保留随机森林残差学习;在神经结构上从简单、参数高效的方案开始;避免不加验证的激进降维;并同时报告平均日、跨日和合并相关系数,以免单一指标误导对模型能力的判断。
2608.08825.pdf