本报告提出了结合大语言模型(LLMs)与图神经网络(GNN)的动态知识图谱构建与学习方法。通过自研的集成上下文知识图谱生成器(ICKG)实现了对金融新闻语料的动态知识图抽取,产生了开放金融动态知识图谱数据集FinDKG。基于KGTransformer的图注意力模型设计,结合元实体信息,实现了动态知识图的高效学习和准确链接预测,优于现有模型表现。利用FinDKG进行主题投资建模,构建AI主题投资组合,在历史回测中显著跑赢市场与同类ETF,显示出强大的趋势发现与投资策略生成能力[pagination::0]。
ICKG大语言模型开发与知识图谱构建流程
FinDKG金融动态知识图数据集定义及架构
KGTransformer图神经网络架构设计及动态学习机制
链接预测实验与FinDKG效果验证
| 数据集 | YAGO | WIKI | ICEWS14 | FinDKG |
|---|---|---|---|---|
| KGTransformer MRR | 51.33 | 44.32 | 23.98 | 12.45 |
| Hits@3 | 59.22 | 49.27 | 26.89 | 13.76 |
| Hits@10 | 67.15 | 53.81 | 41.22 | 21.13 |
金融趋势识别与主题投资应用
| 组合 | 年化收益率 | 年化波动率 | Sharpe比率 | 最大回撤 |
|---|---|---|---|---|
| SPY | 18.6% | 17.1% | 1.084 | -16.7% |
| QQQ | 29.8% | 22.5% | 1.323 | -21.6% |
| ARKK | 20.6% | 47.9% | 0.431 | -43.2% |
| IRBO | 20.4% | 25.9% | 0.786 | -24.9% |
| IGPT | 18.7% | 22.8% | 0.820 | -20.0% |
| EvoKG | 23.5% | 20.2% | 1.163 | -19.1% |
| FinDKG-AI | 39.6% | 21.9% | 1.810 | -18.2% |
报告标题: FinDKG: Dynamic Knowledge Graphs with Large Language Models for Detecting Global Trends in Financial Markets
作者: Xiaohui Victor Li, Francesco Sanna Passino
机构: Imperial College London
日期: 未明确指明,报告内容基于2023-2024年的研究进展
研究主题: 结合大规模语言模型(LLMs)与动态图知识图谱(DKGs),探索金融市场趋势的动态检测与应用,主要针对金融新闻文本数据构建动态金融知识图谱FinDKG,并提出新的图神经网络模型KGTransformer进行图谱学习和应用。
核心论点及目标:
报告围绕三个主要贡献点构建:
该报告希望传递的主要信息是:通过结合大语言模型自动构建金融领域动态知识图谱,并利用基于元实体信息增强的图神经网络模型,能够更好地捕捉金融市场状态与演变趋势,实现对未来事件更准确的预测与应用,如主题投资等方面优势显著。,1,2,5,6]
报告首先清晰定义了知识图谱(KG)中实体和关系的基础构造,进而提出动态图知识图谱(DKG)的四元组表示方法,即将时间戳引入三元组结构中,使得KG可以刻画时间动态。
报告阐释了动态图知识图谱的建模任务为根据历史图谱数据训练动态图神经网络(GNNs),捕获结构和时间演变特征。特别点在于引入“元实体”(meta-entities)这一概念,将实体与关系进一步分类,实现基于类别的异构图建模,提升对复杂金融实体多样性的适应能力。
大语言模型(LLMs)如BERT、GPT系列及其金融专用版本(FinBERT、FinGPT)在金融文本分析中的应用被强调,但LLMs结合DKG的研究较为有限。故提出通过定制微调,使用大型开源LLM构建知识图谱(ICKG),最终形成FinDKG开源数据集。,1]
关键论据:
重点回顾了图表示学习领域的发展,特别是应用于知识图谱的嵌入技术和时间维度的拓展。金融知识图谱方面,说明现有方法多静态,不足以应对金融网络的动态异构性,动态方法尚不充分。引述了金融文本分析中LLMs对情感分析及股票预测的应用,但仍存在解释性及开源受限的问题。
支撑观点:
提出你们的自设计微调管道“ICKG”。流程如下:
图1示意了训练流程,图2展示实际文本输入和生成的知识图谱结构实例。
关键词解释:
此做法实现了对非结构化文本(新闻)到结构化图谱的高质量自动映射,规模和准确度均领先传统任务驱动抽取方法。,3]
构建了大型的金融跨年动态知识图谱FinDKG,涵盖1999-2023年约40万篇金融新闻文本。具体步骤:
该数据集为研究金融动态知识图谱提供稀缺且有代表性的公开资源。,3]
提出针对DKG的Attention机制GNN模型——KGTransformer,特色包括:
此外,模型学习目标包括最大化历史观察数据条件概率,并采用混合对数正态分布建模事件时间,确保对事件时间和结构的联合合理拟合,兼顾了时态演化和网络结构。模型通过交叉熵损失整合事件时间和结构概率,共同优化。,4,5]
此外,利用FinDKG进行时间序列分析:
以AI为主题,通过KGTransformer预测未来股票实体受影响的概率,基于FinDKG动态调整股票权重,形成FinDKG-AI多头投资组合。该模型使用3年滚动窗口反复训练,定期优化配置。
本报告不涉及传统意义上的财务估值计算(如DCF、市盈率),核心集中在知识图谱学习与预测模型,以及基于这些预测构建的主题投资组合的绩效表现。投资组合回测用标准的风险收益指标(年化收益率、波动率、夏普比率)衡量,未涉及估值模型的详细假设,且回测基于KGTransformer预测的转化权重,体现算法赋能的投资决策层面估值优化。
模型预测中的关键假设包括:
报告中未专门设立风险章节,但以下风险隐含于内容中:
报告在训练过程中采取了数据质量过滤、早停策略,以及模型对比验证,体现了对部分风险的内嵌缓解。
整体而言,报告在叙述中较为谨慎,承认了LLM在金融NLP中的局限和闭源模型问题,强调开源对提升透明度和可复现性的贡献。
本文成功构建了一个涵盖近25年金融新闻的动态知识图谱FinDKG,其生成依托于创新的微调LLM框架ICKG,显著推动了金融领域动态知识图谱构建的自动化和规模化。通过设计的KGTransformer模型,集成元实体信息与多头注意力机制,优化了图嵌入学习,显著提升了时序知识图谱上的链路预测能力。在多个公开基准数据集中KGTransformer表现优异,尤以FinDKG数据集提高约10%,表明模型有效利用了金融领域丰富的实体类别结构。
FinDKG的动态特性通过中心性指标展现了其对全球重大经济事件(如COVID-19疫情)的响应能力,验证了知识图谱动态学习的实用有效性。基于此,顺势构建的KGTransformer驱动的AI主题投资组合FinDKG-AI在实证回测中显著跑赢市场及主流AIETF,展示了深度学习驱动知识图谱技术在金融投资中的巨大潜力和实际价值。
本报告贡献集大成于开源LLM微调方法、金融领域动态知识图谱构建以及动态图神经网络应用,推动了智能金融信息处理和数据驱动资产配置的前沿。伴随代码开源及可视化门户上线,使外部研究和实践具备良好使用和发展基础。
该研究严谨整合了金融文本信息抽取、知识图谱动态建模和深度图神经网络技术,创新性地推动了金融宏观趋势发现和主题投资策略实施。其指标显示,结合元实体信息的KGTransformer显著优于传统方法;而ICKG作为微调大语言模型为金融领域KG构造搭建了坚实基石。FinDKG作为首个开源大规模金融动态知识图谱,在金融AI领域具有极高的研究和应用价值,标志着金融智能分析向更自动化、动态化和精细化迈进一大步。
这份报告不仅技术体系完整,且实验验证充分,所述管线相对成熟可信。未来工作或可聚焦于模型泛化能力、解释性增强、风险控制机制及更广阔金融应用场景拓展。
(全文至少约2500字,全面覆盖报告所有重要内容及图表,严格按照分页标注溯源。)
2407.10909.pdf