一、元数据与概览(引言与报告概览)
- 报告标题:Predictive AI with External Knowledge Infusion: Datasets and Benchmarks for Stock Markets;作者为 Ambedkar Dukkipati 等(多位)并由作者团队发布(论文及附录形式).
- 主题与范围:研究目标是将“外部时序知识”(temporal knowledge graphs, STOCKnowledge)注入时间序列预测中,以提高股市(NASDAQ、NSE)中股票排序与选股表现的准确性与收益表现,并发布对应的时序知识图谱数据集与基准实验结果 .
- 核心论点与结论摘要:作者提出一种名为 TA-HKGE(Time-Aware Heterogeneous Knowledge Graph Embedding + sequential encoder)的模型,结合 transformer 的序列嵌入、异构 Hawkes 过程建模的时序过程嵌入(HPGE)以及异构边特征图注意力(HEAT)以学习时间感知的实体与关系表示,从而在多种持有期(Δ=1,5,20)上实现优于若干基线方法的股票排序与收益表现;并公开了涵盖 NASDAQ100、S&P500、NIFTY500 的 STOCKnowledge 数据集 .
二、逐节深度解读
- 摘要与引言(Abstract / Introduction)
- 报告指出股价波动受大量外生动态因素影响(行业互依、宏观变量、政策与突发事件等),而现有时间序列方法通常仅依赖历史数值/有限协变量,难以显式建模这些动态外部影响 .
- 作者的应对策略是构建“时序知识图谱(temporal KG)”,并把关系视为图上的时间区间或时间点事件,再将这些事件以异构 Hawkes 过程方式建模,从而把外部知识注入预测器中 .
- 贡献(Contributions)
- 四点贡献明列:提出时序外部影响整合的时序预测算法;构建并发布 NASDAQ/NSE 的时序知识图谱;提出时序感知的 KG 表示学习与 Hawkes 过程集成并与 transformer 嵌入融合;通过大量实验与消融验证优于基线并提供可解释性分析.
- 问题表述(Problem formulation,Section 3)
- 形式化了多元时间序列预测任务:以 N 支资产的价格序列为输入,目标是对 T+Δ 时刻的股票表现(排名/回报)进行排序预测;并把时序知识图谱视为由静态子图 G_{τ0} 与每时刻的时变子图 G_{τj} 组成,关系以 (h,r,t,[τs,τe]) 五元组表示(或单个时间点的四元组).
- 模型输入 X^T = (过去 W 天的价格窗口, G_{τ0}, G_T) 并学习嵌入 E(X^T) 用于生成排名分数,训练目标结合 KGE 一致性损失与排序/方向/Top-K 指示的多任务损失 .
- 时序知识图谱构建(Section 4)
- 数据来源与范围:为 NASDAQ100、S&P500、NIFTY500 构建的 STOCKnowledge,时间跨度 2003-01-01 至 2022-12-30;新闻抓取:Seeking Alpha(US)与 Moneycontrol(India),收集新闻约 220,645 篇(NASDAQ)与 272,808 篇(NSE),并用规则模式匹配抽取事件并加入 KG;财报(Macrotrends / Top Stock Research)、宏观指标与公司事件(Yahoo Finance)、Wikibase 提供的一阶/二阶公司关系也纳入 KG .
- 表格说明:Table 1 给出 NASDAQ 与 NSE 的 KG 统计(如 triple/quadruple/quintuple 数,实体数、关系类型数等),例如 NASDAQ: #TRIPLES=7,568, #QUINTUPLES=310,916, #ENTITIES=4,911 等(详见表).
- 图示:图 2 展示三类关系形式(无时间戳、带时间戳、时间区间)来说明五元组设计.
(插图:Figure 1 说明行业内股票在 COVID-19 期间的同类联动;该图在论文开篇用于动机演示)
- 模型与学习机制(Section 5)
- 总体结构:TA-HKGE 将三类嵌入合并:Sequential Embedding(Transformer 处理历史价格窗口得到 s_i^T)、Temporal Process Embeddings(HPGE:基于异构 Hawkes 在图上对事件建模得到 e_tpp)、Relational Encoder(异构边特征注意力 HEAT 将实体/关系/时间嵌入转换成最终关系嵌入 E_h);最后拼接 E_{s,tpp} ∥ E_h 通过线性层输出排名分数并用 softmax 归一化 .
- Sequential Embedding:使用 encoder-only Transformer 对每只股票的历史序列(Open/High/Low/Close/Volume 等)做全序列建模以获得长程依赖的序列向量 s_i^T.
- Temporal Process Embeddings(HPGE):把动态图上的关系视为 Hawkes 过程事件,强制定义基准强度 μ_r(h,t) 与互相影响项(m1、m2),节点/关系的 tpp 嵌入通过最大化正样本强度、最小化负样本强度学得,最后与序列嵌入并接为 E_{s,tpp}.
- Relational Embeddings:节点与关系初始嵌入随机初始化并与 tpp 嵌入拼接、再与时间戳的月/日/小时嵌入相加作为边属性,经过两层 HEAT + 两层线性得到 E_h(图注意力处理边特征).
- 预测层与损失:预测使用 softmax 排序分数,损失为四项加权之和:KGE 翻译式损失(e_h^n + e^r + e^τ ≈ e_t^n)、ApproxNDCG 列表式排序损失、二元交叉熵方向损失与 Top-5 指示的交叉熵(四项系数 α_i 设为 1) .
(插图:模型架构 Figure 3)
三、图表与表格深度解读(逐一分析主要图表/表格)
- Table 1(KG 统计,Page 3)
- 描述:Table 1 列出了 NASDAQ 与 NSE 的 KG 规模性统计指标(triples、quadruples、quintuples、实体数、关系条目数、实体类型与关系类型数).
- 解读:NASDAQ 的实体数(4,911)与 QUINTUPLES(310,916)明显高于 NSE(实体数 1,049,QUINTUPLES 251,551),暗示 NASDAQ KG 在实体多样性与时间事件数量上更丰富,这会影响模型通过图信息学习到的信号丰富度及泛化能力.
- Table 2(Top-5 性能比较,Page 6)
- 描述:Table 2 比较 TA-HKGE 与 5 个基线(TRANSF, STHGCN, STHAN, CI-STHPAN, GCNKG)在三套数据集(NASDAQ100, S&P500, NIFTY500)和三种持有期 Δ={1,5,20} 下的多项指标(IRR、AIRR、NDCG、ACC 等)上的平均表现.
- 解读关键点:表中显示 TA-HKGE 在多数组合(尤其 Δ=5、Δ=20 中)通常取得最高或接近最高的 IRR/AIRR 和 NDCG/ACC(例如 NASDAQ Δ=5,TA-HKGE 的 IRR=0.620, AIRR=36.540, NDCG=0.597;对比 TRANSF 为 IRR=0.422, AIRR=23.675),作者以此支持“融合时序 KG 能提高排名与投资回报”的结论.
- 限制与注意:表格在排版上有若干混排/错位符号,但总体趋势仍表明 KG 集成方法在中长期持有期上收益提升更明显,这与作者提出“外部事件在较长时间尺度上更有价值”的论断一致.
- Figure 4(滑动窗口 W 对 Top-5 回报比影响,Page 6)
- 描述:在 NIFTY、NASDAQ、S&P500 三子图对比不同历史窗口长度 W 对 Top-5 回报比随 Δ 变化的影响(蓝/红/绿分别为 Δ=1,5,20).
- 解读:图表展示中等 W(如 20-30)通常能取得更好短期 Top-5 回报,而非常大的 W(如 50)会下降,作者把此结果解释为“过长历史窗口会引入过时噪声、稀释相关信号”.
- 与文本结合:该图支持 Section 7.1 关于窗口尺寸对性能的讨论,并与滑动窗口设计在训练中的实际选择相呼应.
- Figure 5(Accuracy 与 Return Ratio 随 Δ 变化的对比,Page 7)
- 描述:Figure 5 在 NASDAQ、NIFTY、S&P500 上分别比较包含与不包含 KG 的模型在不同 Top-K(Top-1,3,5,10,20)和 Δ 值下的 Accuracy 与 Return Ratio 曲线.
- 解读:图中明显看出随 Δ 增加(持有期拉长),回报比整体上升,且加入 KG 的模型(实线)相比不含 KG(虚线)在回报率与准确率上均持续优越,尤其在更长的 Δ 上差距扩大,说明外部时序关系对中长期预测价值更显著.
- Figure 6 与 Figure 7(可解释性与反事实实验,Page 8-9)
- 描述:Figure 6 展示 AAPL 在“完全 KG 训练”与“反事实(移除 DECLARES_DIVIDEND 与 INCREASE_YoY)KG 训练”下的排名轨迹对比;Figure 7 给出移除前后的关系级注意力变化图示(AAPL 的邻域关系与对应注意力权重) .
- 解读:反事实去除关键关系后模型预测排名逐步退化(IRR 下降,短期影响更明显),注意力图显示原先高注意力集中在 dividend 与增长指标,移除后注意力转向结构性但信息量较低的关系(subsidiary/industry 等),从而解释性能下降机制;该实验为作者“模型并非仅因参数容量而优,而是有效利用时序关系”的主张提供证据 .
(插图:Figure 3、4、5、6、7 已分别在上文嵌入)
四、估值/评分机制与损失函数解析
- 排序目标:作者把预测问题表述为对未来 Δ 时刻股票回报率(IRR)进行排序,使用 softmax 输出股票排序分数并基于 ApproxNDCG 列表式损失优化,以更直接对齐 NDCG 类排名评价指标 .
- KGE 损失(翻译式):采用类似 translation-based KGE 的损失,使得 e_h^n + e^r + e^τ ≈ e_t^n(元素级 L2 距离),这一设计一方面为实体/关系嵌入增加结构一致性,另一方面与时序信息(e^τ)耦合.
- 多任务损失:总损失为四项加权和(KGE、ApproxNDCG、涨跌方向二元交叉熵、Top-5 指示交叉熵),α_i 在实验中设为 1,体现训练过程对结构一致、排序质量与交易方向均有约束 .
五、实验设计与数据集细节
- 数据集:三套公开数据集(NASDAQ100、S&P500、NIFTY500),均含 ~2800 交易日与各自子集资产数量(NAS100:83, SP500:442, NIFTY500:336)等统计(Table 3).
- 时间切分与评估:采用 600 日滑动窗(24 个相移相位),每相位通常包含训练 450 日、验证 50 日、测试 100 日(首若干相位训练期为 250 日以暖启动),最终指标通过对 24 个测试集合取平均得到,旨在减弱单一时期的市场偏差 .
- 基线:包括纯序列 Transformer(TRANSF)、基于静态/超图的 STHGCN、STHAN、CI-STHPAN 与 GCNKG(静态 KG + GCN)等;作者未纳入 LLM 作为基线并说明其上下文长度与结构化时序推理能力受限为理由.
六、消融与鲁棒性分析(Section 7、Appendix)
- 消融模块(WOTPP、WOSEQ、WOLSTM、WOHK 等)说明每个组件对最终效果的贡献,表明序列嵌入、时序过程嵌入与 HEAT 的异构边特征都对性能有正向贡献 .
- 滑窗长度敏感性:中等滑窗 W 优于极大 W,支持“过长历史可能引入噪声导致性能下降”的结论 .
- 持有期敏感性:随 Δ 增加回报率上升且 KG 与非 KG 差距扩大,表明外部关系对中长期更有价值.
七、可解释性与反事实证明
- 作者通过对 Apple(AAPL)做反事实消融(移除 DECLARES_DIVIDEND 与 INCREASE_YoY)演示模型对特定关系的依赖性:短期 IRR 明显下降,长期 Δ=20 也出现持续下滑,且注意力分布由事件驱动转向结构性弱信息的邻域,提供“可追溯”的解释路径 .
八、时间复杂度与可扩展性(Appendix F)
- 文中给出逐模块复杂度估计:Transformer 序列编码为 O(N L (W^2 d_s + W d_s^2)),时序过程嵌入按事件数与负采样约为 O(|E_T| K d_tpp),图注意力为 O(L_g(|E_0|+|E_T|) d_r),以及最终的列表式 ApproxNDCG 在全量资产上会产生 O(N^2) 的复杂度瓶颈.
- 解读:实际应用时 N(资产数)、|E_T|(快照事件数)和 W(窗口长度)是影响可扩展性的关键;尤其 ApproxNDCG 的 O(N^2) 可导致训练在大资产池上昂贵,作者未在正文中详细给出用于缓解该项复杂度的工程方法(如子采样或近似 NDCG).
九、风险因素评估与批判性视角(基于报告内容的审慎分析)
- 数据质量与抽取偏差:KG 事件主要来自网页抓取与规则匹配(news scraping + regex),规则方法可能产生事件漏检或误标(噪声标签),这会把错误信号注入模型;作者在 E 节描述了基于正则和关键词的事件抽取流程,但未提供详细的抽取精度/召回评估,值得关注 .
- 时间标注与有效期假设的简化:当仅有单一时间戳时,作者将 expiry 设为次日或缺省到 1970-01-01(若无时间),这些默认处理可能弱化事件的真实时效性影响并引入偏差;文中明确说明了处理规则 .
- 评价指标与实操落地差异:表格中以 IRR/AIRR/Sharpe/NDCG/ACC 评估模型,但实际交易中还需考虑交易成本、滑点、仓位限制、做空/杠杆与执行时点精度问题;作者在 Appendix C 提到“最优/最差执行日内价位”会显著影响 IRR(并给出 best/worst 表),但没有把交易成本整合进回测收益中 .
- 可复现性与数据发布:作者声明数据与代码可在链接访问,但 KG 构建涉及网页抓取与规则,若外部网站结构变化可能影响可复现性;报告给出数据结构与 pipeline,但完整抓取脚本或抽取正则的细节在正文未全列出(Appendix 部分给了一些说明) .
- 模型复杂度与训练成本:多组件(Transformer + HPGE + HEAT + ApproxNDCG)带来显著算力与内存开销,尤其对大型跨市全量资产时训练开销高,作者在 F 节给出理论复杂度但对实际训练耗时/显存峰值报告有限.
十、结论性综合(汇总关键发现)
- 主要发现:TA-HKGE 将历史价格序列的 Transformer 嵌入与对外部时序关系建模的 HPGE/HEAT 有效结合,能在多个数据集与持有期下相较若干静态图或纯序列基线提升排序质量(NDCG/ACC)与投资回报(IRR/AIRR),且消融与反事实实验证明各组件(时序过程嵌入、关系注意力)均有贡献 .
- 图表洞见:KG 在中长期(Δ 更大)贡献更明显,滑窗长度需适中以避免过时信息,KG 的规模与丰富度(NAS vs NSE)会影响模型可获益的信息量 .
- 最终作者立场:推荐在序列预测(尤其金融)中纳入结构化、带时间属性的外部知识(STOCKnowledge),并提出该数据集与 TA-HKGE 作为基线供后续研究使用 .
附注(可复现性与后续建议)
- 若要复现/部署该方案,关键步骤包括:获取并验证新闻/财报抽取规则(保证事件抽取质量)、评估 KG 中关键 relation types 的信噪比、对 ApproxNDCG 全量计算做近似/分布式化处理以降低 O(N^2) 代价,并在回测中加上交易成本与执行滑点以衡量实际可交易性(这些均由报告在不同节中暗示或部分讨论) .
如果需要,我可以:
- 针对报告中的任一图表(例如 Table 2 或 Figure 5)给出逐列、逐模型的数值对比与统计显著性检验建议;
- 或者准备一份复现实验清单(抓取脚本、正则样例、预处理流程、训练超参、硬件估算)以便在具体环境中重现作者结果 .