本研究提出了一种结合Time2Vec与Transformer编码器的新型神经网络架构,支持多股票价格协同预测。通过相关性特征筛选和多特征聚合,提升了模型对金融时间序列的捕捉能力,实证显示该方法优于传统位置编码及LSTM、RNN等模型,且参数更少,具备较强泛化性与预测准确性 。
| Target | Model | RMSE | MSE | MAPE | MAE | R2 |
|---|---|---|---|---|---|---|
| NASDAQ | NAS | 0.0291 | 0.0008 | 3.1392 | 0.0187 | 0.8264 |
| NASDAQ | NAS SP | 0.0248 | 0.0006 | 2.6785 | 0.0161 | 0.8743 |
| XOM | EM | 0.0350 | 0.0012 | 4.3509 | 0.0204 | 0.8163 |
| XOM | EM C | 0.0333 | 0.0011 | 4.0724 | 0.0200 | 0.8330 |
| MS | MS | 0.0148 | 0.0002 | 1.7162 | 0.0105 | - |
| GS | MS GS | 0.0221 | 0.0005 | 2.8797 | 0.0156 | 0.8545 |
| Target | Model | RMSE | MSE | MAPE | MAE | R2 |
|---|---|---|---|---|---|---|
| NASDAQ | TT2VFin | 0.0248 | 0.0006 | 2.6785 | 0.0161 | 0.8743 |
| NASDAQ | LSTM | 0.0272 | 0.0007 | 2.9289 | 0.0176 | 0.8490 |
| NASDAQ | RNN | 0.0316 | 0.0010 | 3.6215 | 0.0224 | 0.7959 |
报告标题:《Transformer Encoder and Multi–features Time2Vec for Financial Prediction》
作者:Nguyen Kim Hai Bui、Nguyen Duy Chien、Péter Kovács、Gergő Bognár
所属机构:匈牙利ELTE Eötvös Loránd大学数值分析系
发布日期:不明确,但文中数据使用截至2024年9月30日,且引用文献大多2023年及之前,推断为2024年年中左右
主题:面向金融时间序列预测的深度学习模型,特别是结合Transformer Encoder和Time2Vec编码的多特征股票价格预测模型
核心论点及主要贡献:
报告针对金融时间序列预测中模型对多个相关股票特征联合学习的需求,提出了结合Time2Vec时间编码的Transformer Encoder架构,创新性地引入基于相关性的特征选择策略,从而提升多股票价格预测准确性。该方法相较传统位置编码和单特征模型有明显优势,更优于现有的RNN及LSTM模型。作者强调:
本报告的重要信息包括:多条关键股票组合的相关性分析,数据预处理框架,模型结构设计,性能比较与预测效果图示,最终达到提升金融时间序列预测准确性的目标。
股票价格预测是一项复杂且安全关键的时间序列任务,需平衡短期交易与长期投资。不同行业相关股票间价格存在显著联动,传统单一特征预测难以充分利用这种信息。技术分析虽广泛应用,但要捕获多变且非线性的股价走势,方法依赖时序深度模型。
报告回顾传统统计模型(ARIMA、指数平滑等)的局限,指出RNN/LSTM及其对长依赖的不足。Transformer凭借自注意力机制实现长距离依赖建模,无需顺序计算,因而非常适合时间序列金融预测。此外,深度学习能降维提取关键特征,有效支撑市场趋势预测。
本工作重点突出两点创新:(1)基于相关性的多特征选择,捕获股票间共动性;(2)新颖地融合Time2Vec编码的Transformer Encoder,弥补传统位置编码缺陷。
Transformer的自注意力机制使得能够并行处理整个序列,避免RNN的顺序限制,擅长捕捉数据中远距离依赖。结构以多层Encoder为核心,每层包含多头注意力和前馈网络,加深对时序内关系的理解。报告聚焦Transformer Encoder部分,适合提取输入特征间的关系特征。
Time2Vec为通用时间向量编码,将时间点映射为包含线性和周期成分的向量:第一个成分为线性函数,其他成分为带权周期函数(如正弦)。这一设计使模型能捕获周期性变化,且比传统Transformer位置编码更灵活及可解释。报告将Time2Vec集成于Transformer Encoder输入端,增强时间动态建模能力。
通过自相关和互相关函数,度量不同股票时间序列之间的线性相关度,数值介于-1至1。报告采用归一化的交叉相关函数以量化股价间的依赖关系,为后续多特征选取提供数据基础。
为解决多股票数据中缺失值及采样不一致问题,报告采用几何平均忽略NaN(GMNN)的方法,将多股票时间序列合并为单一特征向量,既保留多维信息又简化输入。此方法为预处理核心环节,保证模型训练数据的完整性和一致性。
通过对如Exxon Mobil相关股票的相关性分析(见图1),报告发现:目标股自身自相关在非零滞后处趋近零,表明其单独历史数据对未来预测的局限;但与其他相关股票的交叉相关较高(如Chevron与Exxon交叉相关达0.84),说明联合考虑多个高度相关股票的特征模型有较强预测能力。
因此,设计整合多股票相关特征的输入,又精简成单个聚合特征的方法,有望提升模型的识别多股票共同行为的能力,实现更精准预测。
以Yahoo Finance获取多组股票日线数据(截至2024年9月30日),选取三组高度相关股票:
预处理流程详见图2:包括缺失值填充与14天移动平均平滑,计算次日百分比变化,再归一化(0~1),最终以GMNN进行特征聚合。预测后通过逆归一化及逆移动平均还原价格趋势(图3),保证最终预测结果的实用性。
图4展示了模型详细架构,核心包括:
相比传统复杂模型,结构轻量,重视时间周期及长短期依赖的灵活捕捉。
通过RMSE、MSE、MAPE、MAE、R2五大指标对比单特征模型与多特征模型,发现:
这说明构造多股票相关特征,能够增强预测精度,尤其当涉及高度相关资产组合时。
模型TT2VFin(即本文提出的多特征Time2Vec + Transformer Encoder模型)与:
图5展示了模型在实际股票收盘价上的预测趋势,预测线(黑色)与真实价格(蓝色)高度吻合,充分证明模型优良的泛化和适应能力。
这张图描绘了以Exxon Mobil为基准股票,多个相关股票(日常股价序列)的自相关(lag=0峰值为1)及交叉相关性随着时间滞后(-4到+4天)变化曲线。
此图支持了作者提出利用相关股票的多特征聚合策略的理论基础,强调跨股票信息整合的重要性。
流程图清晰呈现了:
该流程确保数据质量,缓解原始采样不均、短期波动剧烈、数据缺失等问题,为模型训练提供高质量输入。
逆归一化处理体现了模型输出(标准化后的百分比变化)如何一步步转换回原始收盘价格:
确保预测结果易读和实用,便于直观比较和投资决策。
图示分为三个部分:整体模型流程、Time2Vec模块详解、Transformer Encoder模块细节。
结构科学合理,兼顾理论创新与工程实践需求。
表中以三个股票组合组为单位,展示RMSE、MSE、MAPE、MAE及R2指标。可见:
表格数据支持核心假设:多特征相关性策略更有效,尤其在高度相关股中。
表格详细列明了提出模型及其变体与RNN、LSTM多指标对比结果:
这一组数据极大增强了模型实用价值和深入推广的可行性。
绘制了2024年8月至2025年2月期间NASDAQ与S&P500收盘价的真实值与预测值折线图:
此图形象地展示了模型面对真实市场全新数据的准确表现,是模型优良泛化能力的直观体现。
本报告未涉及具体金融估值如DCF、P/E估值模型,重点聚焦技术层面的时间序列预测模型设计及性能验证。估值指标部分使用模型性能度量指标(RMSE、MSE、MAPE、MAE、R2)作为金融预测有效性的评估基准。因此可视为评估模型“估值”的折中与代理。
报告未明确列出风险因素章节,但隐含风险包括:
报告通过模型架构设计(残差连接、池化、Dropout)缓解部分风险,数据预处理确保稳定的输入数据,但对外部非市场数据及异常事件的适应能力尚未展开讨论。
综上,报告基于实证数据和严谨方法,观点大体稳健,但对未来应用推广边界和外部变量影响尚需更多说明。
本报告针对金融时间序列复杂性,创新性地融合了基于相关性选股的多特征聚合策略,配合结合线性与周期性编码的Time2Vec与Transformer Encoder架构,实现了对多股票价格的联合精准预测。
实验数据强力支持:
从图表深度分析可见,作者的综合设计和策略有效缓解了传统方法捕捉长短期依赖的瓶颈,且通过多股票相关性增强了模型的预测深度和广度。尽管存在如相关性不稳、模型在更细粒度数据上的表现未知等潜在挑战,报告设计充分考虑了金融时间序列中的复杂性与多样性,具备显著创新和可推广价值。
综上,该研究积极推进了时间序列金融预测领域的深度学习技术应用,提出了兼具创新性与实效性的模型框架,为实现更精细和动态的股票价格预测提供了坚实基础与参考。
本分析基于报告全文内容,引用页码按章节对应分别标注如下:
(全文溯源页码均严格对应报告原文页数,符合规范)
此详尽分析希望为金融研究人员及实践者提供全面理解该报告技术框架与实证价值的深度洞察。
Transformer Encoder and Multi–features.pdf