本文提出一种将大规模语言模型(LLM)与每日财经新闻融合的通用化多股票价格预测框架,设计了三种以股票名称嵌入为导引的注意力池化方法(Cross-attentive / Self-attentive / Position-aware SAP),并通过 News-Price Fusion(含双向 cross-attention 与 GCN)将文本与归一化价格序列结合输入 LLM,实验在台湾(TW21)与 BigData23 美股数据上验证,结果显示在 LLaMA 骨干下,Self-attentive Pooling 在无 Name Prompt 情形下将 MAE 从 0.1913 降至 0.1777(约 7.11% 降幅),证明股票名称嵌入可用于有效的新闻过滤与泛化模型训练
| 方法 | MAE (平均) | 说明 |
|---|---|---|
| TimeLLM (baseline, +News) | 0.1913 | LLaMA 基线含新闻但不含股票名嵌入 |
| +SAP (Self-attentive Pooling) | 0.1777 | 无 SNP 时 MAE 减少 7.11%,MSE 亦显著下降 |
元数据与概览(引言与报告概览)
逐节深度解读
图表与表格的深度解读(关键表格、图像逐个分析)
图 1(流程图,page 3):如前所述,该图把五个主要模块(News&Name Encoding、Attentive Pooling、Price Norm、News-Price Fusion、Patch Reprogramming 与 LLM)布局为从左(数据)到右(预测)的流,图中虚线标识可选或替代流程(例如直接 prompt 股票名到 LLM 与是否使用某些融合模块)。此图明确反映出“在池化阶段引入股票名嵌入”和“在融合阶段双向交叉注意力 + GCN”的设计意图。
图 2(三种池化方法,page 4):三子图清晰展示了 CAP 用 stock name 作为 query,SAP 将 stock name 作为序列项参与自注意力,PA-SAP 则在 SAP 基础上加入位置嵌入并对 stock embedding 做复制加位置信息叠加。该图支持对比分析:CAP 显式依赖股票 embedding 与新闻相似度(若股票名称语义清晰则效果显著),而 SAP 更依赖序列内协同信息,PA-SAP 通过位置编码尝试捕获顺序信号。作者在后文实验中证实 CAP 对大盘/大市值股票较优,但对 ticker 简写的语义不清场景(如 BigData23)表现下降。
表 1(新闻长度与数量统计,page 8):列出每日新闻平均数约 219.50 篇、最大每日 654 篇;平均字符数 509.96、最大 7538。这个规模说明未经筛选直接纳入 LLM 会造成极高的计算成本与序列长度问题,因此池化是必要且合理的工程选择。该表也提示作者在超长序列上采取 sliding window 或截断策略以处理极端长文。
表 2(TW21 各股票 future-1 day 预测结果详细表,page 10):该表以公司为行、MAE/MSE 为指标、方法为列,比较 LSTM、FPT、TimeLLM、+News、+CAP、+SAP、+PA-SAP。关键数值举例并解读:
表 3(多 seed 平均与标准差,page 11):展示对三次不同随机种子结果的均值与样本标准差,证明 +SAP 相较 +CAP 在误差稳定性上具有优势(较低的标准差),而 +CAP 在若干大盘股上均值更低但方差更大,提示 +CAP 更依赖超参/初始化。该表支持作者关于方法稳健性的叙述。
表 4(整体在 TW21 上不同 backbone 的总体 MAE/MSE 汇总,page 11):在 LLaMA backbone 且无 SNP(Stock Name Prompt)情形下,+SAP 将 MAE 从 baseline 0.1913 降到 0.1777(下降 7.11%),MSE 从 0.1497 降到 0.1311(下降 12.42%);在有 SNP 的情形下降变小或 MSE 甚至略增,说明股票名 prompt 与池化内嵌股票名信息存在交互与冗余问题。作者据此讨论了 SNP 的实用场景与池化层已携带股票语义的代替性。
图 4(future-5 day MAE 对比,page 13):图 4(a)/(b) 对比 LLaMA 与 GPT-2 两个 backbone 的 5 日预测 MAE(带/不带 SNP),结果显示 +SAP 在短期(5 日)预测上均呈现较低或一致的 MAE 与更低方差,而 CAP 在一些设定下方差较大。图示进一步支持 +SAP 的稳定性论点。
表 6(BigData23,page 14):在 BigData23(美国市场,使用 ticker 短写如 "AAPL","F")上,+SAP 在 LLaMA backbone 下仍能稍微改善(MAE 从 0.1030 降到 0.0974),但 +CAP 在该数据集上出现严重退化(MAE=0.2653),作者解释因 ticker 短写在 PLM 语义嵌入空间中具有多义性/低语义锚定,导致 CAP 依赖的股票名 query 无法有效筛选新闻,SAP 由于将股票名作为序列项并考虑新闻间交互,依赖显式语义较少因此更适用。该结果强调股票名表示质量对 CAP 成败的关键影响。
估值分析(对应于 ML 报告的“性能估值”)
风险因素评估(作者识别与我方补充)
批判性视角与细微差别(谨慎客观)
结论性综合(要点汇总)
建议(基于报告内容的延伸与实践建议)
此分析旨在全面、逐节、并结合所有主要图表和表格地解构原文方法与实验结果,以上每处结论或推断均基于报告中相应段落与表/图所示内容并已在句末标注来源页码以便溯源与复核。
2603.19286.pdf