本报告系统评估了大型语言模型(OPT、BERT、FinBERT)与传统的Loughran-McDonald字典在美国金融新闻情绪分析及股价预测中的表现。研究利用2010-2023年近百万篇新闻,发现基于GPT-3的OPT模型表现最优,预测准确率达74.4%,并构建基于OPT情绪分数的多头空头组合策略,考虑交易成本后夏普比率高达3.05,2021年至2023年期间收益率达355%,显著优于其他模型和市场基准,彰显LLM在金融市场预测和投资策略制定中的变革潜力。
报告标题: Sentiment trading with large language models
作者: Kemal Kirtac, Guido Germano
发布机构: University College London(计算机科学系)、London School of Economics(系统性风险中心)
时间: 未明确具体发表日期,数据包含截至2023年6月30日
主题: 人工智能特别是大型语言模型(LLMs)在金融新闻文本情绪分析与股票收益预测中的应用与表现比较。
核心论点:
本报告旨在探讨并验证多种大型语言模型(LLMs)对金融新闻文本进行情绪分析,并将其预测能力应用于股票市场收益上。报告比较了LLMs(OPT、BERT、FinBERT)与传统的情绪词典方法(Loughran-McDonald词典)的表现,实证检验它们在股票回报预测及基于情绪的投资组合构建中的优劣。核心发现为使用基于GPT-3的OPT模型,在情绪预测准确度和投资策略表现上显著优于其他模型和传统方法,表明LLMs在金融文本分析与资产管理中具有革命性潜力。
报告指出,尽管金融领域越来越重视文本数据(如新闻、招股说明书、社交媒体)挖掘,但当前的研究大多局限于单一数据源,且多数采用简化的基于词典的情绪评分方法。文本数据因无结构性与复杂语言语义,处理难度大,需要更先进的模型。作者认为现有的文本分析尚处早期阶段,未来存在巨大提升空间。故本研究选择了先进的LLMs来获取更精细的文本表示,着眼于个股层面,推动金融情绪分析从市场整体情绪向个股响应的细粒度预测转型。
传统词典方法仅考虑词频,忽略语序和上下文,且面临高维和统计效率低的问题。维度缩减(如LDA)虽改善部分问题,但依赖词典本身,仍存在信息损失。相比之下,LLMs训练自大规模、多样文本,具有更强的上下文理解能力。报告选用了谷歌的BERT,Meta的开放预训练模型OPT,以及针对金融领域微调的FinBERT。OPT作为开放版GPT-3替代模型,规模大(2.7亿至27亿参数),充分体现模型势能。使用Hugging Face开源平台和Python实现模型微调和推断。此部分强调通过深度学习自然语言处理技术,开发更具泛化能力和预测能力的金融文本情绪评估工具。
本研究流程分两步:先将文本转为数值特征,后以此预测股票相关经济变量。文本数值化既采用传统词典法,也包括FinBERT及微调后的BERT和OPT。情绪标签依据文章发布日起未来3天内个股超额收益的符号判定,正收益标记为正面情绪,非正收益标记为负面。样本随机划分为训练集、验证集和测试集。评价指标包括准确率、精确率、召回率、特异度及F1分数。随后通过带有个股和日期固定效应的线性回归,检验各模型情绪分数对次日股票收益的预测效果,使用稳健标准误规避异方差和自相关影响。最后,基于情绪得分构建价值加权的多头、空头及组合投资组合,模拟真实交易环境(含10bps交易费),并考虑新闻发布时间对交易时点的影响,实现策略日度动态调整。
使用两大数据源:CRSP数据提供美国股票每日价格、成交量、市值等,Refinitiv提供美国公司相关金融新闻,共计约273万条新闻,涉及6214家公司,筛选去重后得到约96.5万篇文章。样本覆盖2010年1月至2023年6月。资金加权和均权市场组合作为基准。情绪得分分布显示OPT、BERT、FinBERT均接近正态,LM词典得分偏正偏斜。日均收益0.37%,标准差0.18%。
| 指标 | 数量 |
|---|---|
| 全部新闻 | 2,732,845 |
| 仅单只股票相关新闻 | 1,865,372 |
| 去重后的独特新闻 | 965,375 |
该表展示了数据初筛流程,对新闻内容去重及精炼的效果,反映最终分析数据规模与覆盖面,为后续模型训练和测试奠定数据基础。
展示样本日收益率和各模型情绪分数的统计特征。日收益均为百分比,范围宽广,极端值反映市场波动。情绪分均值接近0.5,LM词典较高表明该词典倾向于给出偏正面评分,且波动更大。此表有助理解指标基础分布与后续模型判别能力差异的潜在根源。
| 指标 | OPT | BERT | FinBERT | Loughran-McDonald |
|---|---|---|---|---|
| Accuracy | 0.744 | 0.725 | 0.722 | 0.501 |
| Precision | 0.732 | 0.711 | 0.708 | 0.505 |
| Recall | 0.781 | 0.761 | 0.755 | 0.513 |
| Specificity | 0.711 | 0.693 | 0.685 | 0.522 |
| F1 Score | 0.754 | 0.734 | 0.731 | 0.508 |
数据表明OPT模型性能最优,准确率达到约74.4%,显著优于传统词典,仅约50%,揭示基于LLMs的情绪捕捉力远超传统方法。各指标证明OPT不仅精准识别正负面文本且平衡了召回和特异性,模型稳定且预测质量高。
对比OPT、BERT、FinBERT和词典情绪得分对次日股票收益的预测效力。OPT在多模型回归中系数均显著为正(最高0.274, t>5),R2达到0.22,显示有较强解释力。FinBERT和BERT虽稍弱,也显著正向预测收益。词典模型系数最小且不显著,R2仅0.087。多模型回归衰减了单一模型的解释力,但仍显著性良好,表明多样情绪特征具有互补价值。模型的AIC、BIC、RMSE等指标均支持OPT为最佳,验证其较大参数规模和训练多样性优势。
| 策略 | Sharpe Ratio | 平均日收益(%) | 日波动率(%) | 最大回撤(%) |
|---|---|---|---|---|
| OPT Long-Short | 3.05 | 0.55 | 2.49 | -18.57 |
| BERT Long-Short | 2.11 | 0.45 | 2.68 | -21.95 |
| FinBERT Long-Short | 2.07 | 0.39 | 2.81 | -23.82 |
| LM Dictionary Long-Short | 1.23 | 0.22 | 3.74 | -38.29 |
| 市场价值加权组合 | 1.45 | 0.35 | 3.25 | -31.87 |
| 市场均权组合 | 1.40 | 0.33 | 3.20 | -32.87 |
可以看出,基于OPT情绪评分的长短组合风险调整收益最高(Sharpe=3.05),远超传统词典和市场基准组合。该策略带来最高的平均日收益且波动相对较低,最大回撤也最小,显示稳健的风险控制能力和超额收益实现能力。词典模型策略表现最差,波动和回撤均更大,说明传统情绪分析在实际投资中效果有限。
图示了2021年8月至2023年7月间,基于不同模型的价值加权长短组合累计收益。OPT模型策略(红线)累计收益达到3.55倍,显著领先BERT(约2.35倍)、FinBERT(约1.65倍)及LM字典(仅约0.91倍)。市场价值加权与均权基准组合则表现极低回报,稳定在1倍左右。该图形直观反映了OPT模型预测与交易策略在实盘模拟中的卓越表现,支持模型预测的市场显著收益性。
此报告未涉及传统意义上的估值分析(例如DCF、可比估值等),而主要侧重于文本情绪预测模型的性能评估及其对股票收益的预测能力和量化投资策略表现。其“估值”更准确地说是对模型预测能力的评估,使用计量经济学回归与投资组合绩效衡量指标(Sharpe比率、收益波动率等)进行多维比较。
报告虽未列出专门的“风险因素”章节,但隐晦提及以下挑战:
报告未明确提出针对上述风险的缓解措施,但表明模型经过验证与稳健回归,且交易策略模拟贴近实际,间接提高了结果稳健性。
整体看,报告内容严谨,数据量庞大,方法系统但未避开典型的模型与数据局限,需结合后续研究继续验证模型稳健性和适用范围。
本报告系统评估并实证验证了多种大型语言模型(OPT、BERT、FinBERT)与传统词典方法在美国金融新闻情绪分析及股票收益预测中的性能。核心发现如下:
综合来看,本研究论证了先进的LLMs,尤其是基于GPT框架的OPT,在金融新闻情绪分析和股票市场预测中的突出能力,推动了金融经济学中自然语言处理应用的前沿。通过深度学习模型采用,未来投资策略与市场监管有望实现技术质的跃迁。
鉴于报告涵盖数据广泛、方法严密、实证结果显著且理论贡献明确,其结论对金融领域学术界与实务界均具重要参考价值。
此分析全面深入剖析了报告的主要内容和方法,全面反映了其在金融领域文本情绪分析与智能化交易上的创新应用和产业指导意义。
2412.19245v1.pdf