本文通过两个相互分离的实验,系统比较传统机器学习、FinBERT、Financial-RoBERTa及多种QLoRA适配大语言模型在金融情感分类和股票收益预测中的表现。结果显示,QLoRA显著提升了Qwen2.5的分类能力,Mistral-7B取得最高测试准确率与Macro-F1;但在2019年Benzinga新闻与标普100股票样本中,情感信号仅呈现微弱、短期的收益相关性,经过Newey–West及FDR校正后没有稳健显著性,说明语言分类准确率与可交易收益预测之间存在明显断层。
| 模型 | 测试准确率 | Macro-F1 |
|---|---|---|
| TF–IDF Naive Bayes | 0.6976 | 0.6334 |
| FinBERT | 0.6930 | 0.6753 |
| Financial-RoBERTa | 0.6622 | 0.6679 |
| Qwen2.5-7B QLoRA | 0.8683 | 0.8615 |
| Qwen2.5-7B QLoRA(加权损失) | 0.8667 | 0.8595 |
| LLaMA3-8B QLoRA | 0.8814 | 0.8753 |
| Mistral-7B QLoRA | 0.8840 | 0.8771 |
研究将每条新闻的三类概率转换为连续情感分数 (s=p^{pos}-p^{neg}),再按股票和新闻日期求均值;信号在新闻日期之后的下一交易日开盘进入,并检验1、2、3、5个交易日收益。
| 模型 | 1日Rank IC | 2日Rank IC | 3日Rank IC | 5日Rank IC |
|---|---|---|---|---|
| Naive Bayes | 0.0141 | -0.0051 | 0.0042 | -0.0138 |
| FinBERT | 0.0143 | -0.0157 | -0.0042 | -0.0101 |
| Financial-RoBERTa | 0.0141 | -0.0282 | -0.0161 | -0.0195 |
| Qwen2.5-7B QLoRA | 0.0083 | -0.0066 | -0.0022 | -0.0112 |
| Qwen2.5-7B QLoRA(加权) | 0.0083 | -0.0055 | -0.0016 | -0.0102 |
| LLaMA3-8B QLoRA | 0.0013 | -0.0085 | -0.0045 | -0.0093 |
| Mistral-7B QLoRA | 0.0085 | -0.0027 | -0.0005 | -0.0050 |
报告标题为《From Financial Sentiment Classification to Return Predictability: A QLoRA Benchmark of Large Language Models》,作者为Fusheng Luo,所属机构为美国约翰斯·霍普金斯大学,文中未明确给出正式发布日期。报告主题是:比较传统机器学习、金融领域预训练模型和经QLoRA适配的大语言模型在金融情感分类中的表现,并进一步检验分类结果能否转化为股票未来收益的横截面预测能力。
报告没有给出股票评级、目标价或投资建议,其核心观点可以概括为两层:
因此,作者真正希望传达的信息不是“某个LLM可以稳定赚钱”,而是要区分两个目标:前者是让模型更接近人工情感标签,后者是判断新闻情感是否包含尚未被市场价格充分吸收的增量信息。
报告指出,金融文本中的“情感”并非普通意义上的喜怒哀乐,而更多体现市场对企业、政策和未来经济结果的解释。例如,“亏损”未必一定利空,如果亏损低于市场预期,股价可能上涨;反之,盈利也可能因低于预期而引发下跌。因此,金融情感需要结合预期、实体对象和上下文,而不能简单统计正负面词汇。
报告引用Loughran–McDonald研究说明,通用情感词典容易误判金融术语。例如“liability”“capital”“tax”等词在普通语境中可能带有负面联想,但在财务报告中往往只是技术性或中性词汇。 这解释了为什么金融领域需要FinBERT等专门模型,也解释了为什么单纯的词袋或TF–IDF方法存在明显局限。
表1概括了金融情感分析领域具有代表性的基准数据集,覆盖Financial PhraseBank、FiQA、Twitter Financial News Sentiment、FOMC政策文本以及SEntFiN 1.0等。数据集的发展路线体现出研究对象从句子级新闻,逐步扩展到社交媒体、货币政策沟通、方面级观点和实体级情感。
这种多样性带来一个重要问题:不同数据集的标签定义、文本来源和任务目标并不一致,在单一数据集上表现优秀的模型,未必能适应其他金融文本领域。报告据此提出研究缺口:既有研究经常只在单个数据集上比较模型,或者只报告准确率、F1等语言指标,很少同时检验模型在真实市场回报上的有效性。
实验一将五个数据源合并:
所有标签被统一为负面、 中性和正面三类,即-1、0、1。FOMC中的hawkish、neutral、dovish被映射到负面、中性、正面方向;NASDAQ的0–1、2–3、4–5评分分别转为负面、中性、正面。
这种映射提高了跨数据集可比性,但也带来语义简化。例如,央行“鹰派”在某些资产或行业中未必等同于整体负面;同一条包含多个实体的新闻也可能对不同公司产生相反影响。作者明确承认标签统一并不意味着原始任务完全同质化,而是把数据异质性保留为模型鲁棒性挑战。
最终样本为33,549条,按照固定随机种子42进行分层抽样,训练集、验证集和测试集比例分别为76.5%、8.5%和15.0%,测试集包含5,033条样本。由于中性类超过一半,报告将宏平均F1设为主要指标,避免模型只依靠多数类获得较高准确率。
实验一共比较八种规格:
实验二排除零样本Qwen,因为其自回归输出没有可直接比较的三类概率向量,因此只使用七个能产生概率的模型。
QLoRA的基本思想是冻结4-bit量化的基础模型,仅训练插入注意力层和前馈投影层的低秩适配器。LoRA通过低秩矩阵学习任务相关参数更新,QLoRA进一步通过4-bit量化降低显存需求。这样做的优势是,在不更新全部数十亿参数的情况下完成任务适配,但其结果仍依赖基础模型、秩设置、量化误差和训练超参数。
实验二使用与训练数据在时间和内容上分离的2019年Benzinga样本,固定股票池为2019年1月1日时的S&P 100成分股。过滤后有10,637条唯一新闻标题、13,115个新闻—股票关联、253个日历日期,实际涉及72只成分股。
每条新闻的连续情感分数定义为:
[ s=p_{\text{positive}}-p_{\text{negative}} ]
其中中性概率不直接进入分数,但会通过压低正负概率影响分数绝对值。随后,将同一股票同一天的新闻分数取平均,避免新闻数量多的股票仅因覆盖频繁而获得更大信号。没有新新闻的股票被剔除,而不是被赋予零分。
由于新闻缺乏可靠的盘中发布时间,作者把日期信号保守地映射到下一个交易日开盘,并考察1、2、3、5个交易日的收益。这一安排避免误用新闻发布前已经发生的同日价格变化,但也可能错过新闻发布后几分钟或几小时内完成的价格反应。
Rank IC是每日情感排名与未来收益排名之间的Spearman相关系数,报告使用每日IC的时间序列均值衡量预测能力。多日收益存在重叠,因此使用Newey–West标准误修正异方差和自相关,并对28组模型—期限检验实施Benjamini–Hochberg错误发现率校正。
投资组合部分做多情感排名最高的15%股票,做空最低的15%股票,长短两边各自等权,并以+0.5和-0.5构成净敞口为零的多空组合。多日持有期允许不同日期的组合重叠,但报告明确排除了佣金、买卖价差、冲击成本、滑点和借券费用,因此这些结果只能看作信号诊断,而非可直接执行的策略收益。
表6显示,TF–IDF朴素贝叶斯准确率为0.6976,宏平均F1为0.6334,是所有模型中最低的主要基准之一。FinBERT准确率为0.6930、宏平均F1为0.6753;Financial-RoBERTa准确率为0.6622、宏平均F1为0.6679。
QLoRA模型明显领先:Mistral-7B准确率0.8840、宏平均F1为0.8771,LLaMA3-8B分别为0.8814和0.8753;Qwen2.5标准QLoRA的宏平均F1为0.8615,加权损失版本反而下降至0.8595。
但这个比较不能简单解释为“LLM架构一定优于FinBERT”。FinBERT和Financial-RoBERTa只是直接使用公开检查点,没有在合并后的训练集上继续适配,而QLoRA模型接受了任务特定训练。因此,表6主要证明了任务适配的价值,而不是严格证明解码器LLM在架构上普遍优于金融编码器。
表7进一步显示,朴素贝叶斯严重偏向中性类:中性F1为0.7787,但负面和正面F1分别只有0.5177和0.6037。其有509个负面样本和642个正面样本被误判为中性,说明词频特征难以识别方向性和隐含情感。
FinBERT的中性F1为0.7449,正面F1只有0.6260;Financial-RoBERTa的负面F1较高,为0.7033,但中性F1下降至0.6423。相比之下,所有QLoRA模型三个类别的F1均超过0.84。LLaMA3的负面F1最高,为0.8648;Mistral的中性和正面F1最高,分别为0.9009和0.8685。
错误分析显示,强模型的主要错误并不是把正面直接判成负面,而是把方向性情感与中性混淆。LLaMA3和Mistral合计只出现67次直接负—正反转,而朴素贝叶斯为164次。这说明上下文模型能够较好识别情感方向,但对弱表达、隐含表达和模糊新闻仍难以区分“中性”与“有方向情感”。
Qwen2.5的零样本准确率为0.7280、宏平均F1为0.7274;经过QLoRA后,准确率升至0.8683、宏平均F1升至0.8615,分别提升14.03和13.41个百分点。这是报告中最直接的“同一基础模型、适配前后”证据。
零样本Qwen存在过度预测方向性类别的问题:尽管中性样本占测试集51.58%,模型预测为中性的比例只有41.45%,并将410个中性样本判为负面、471个判为正面。QLoRA显著缓解了这一问题,使预测类别分布更接近真实分布。
逆频率加权损失没有帮助。Qwen标准版本的负面、中性、正面F1分别为0.8523、0.8870、0.8451;加权版本对应为0.8475、0.8856、0.8454,只有正面F1有极小提升,整体宏平均F1从0.8615下降到0.8595。 这说明当前数据的中度不平衡并不足以证明需要类别加权,甚至可能因放大少数类噪声而损害整体边界。
表9显示,Qwen两个版本在2,852条验证样本上的评估时间约226–232秒,吞吐量约12.3–12.6条/秒;LLaMA3和Mistral约262–264秒,吞吐量约10.8条/秒。
这暗示存在一定的性能—速度权衡:Qwen推理较快,而LLaMA3和Mistral分类效果较强。但作者强调这些只是单次运行的描述性结果,未进行多次重复和严格硬件控制,不能视为统计显著的效率差异。报告也没有完整记录峰值显存、总训练时间、可训练参数量和适配器存储空间,因此无法形成完整的成本比较。
图1展示了从Benzinga唯一标题开始,经七个分类器输出三类概率,再转化为连续情感分数、汇总到股票—日期、对齐下一交易日收益,最终进行Rank IC和投资组合检验的完整流程。
图2显示模型对同一无标签新闻样本的判断差异非常大。朴素贝叶斯将80.4%的标题判为中性,正面为17.4%,负面比例极低;FinBERT的负面、中性、正面占比分别为22.2%、44.1%、33.8%;Financial-RoBERTa最偏正面,正面占46.8%,中性仅27.7%。QLoRA系列大致集中在约16%–17%负面、55%–59%中性和25%–28%正面。
这张图说明,不同模型的下游结果可能受到“信号分布形状”影响,而不只是分类准确率影响。尤其是Financial-RoBERTa的高正面比例和极端分布,未必代表其更准确,也可能是概率校准差异或模型偏置。
图3显示Financial-RoBERTa的连续情感分数大量靠近-1和1,说明其输出更极端;朴素贝叶斯的分布更集中,QLoRA模型居中但仍在两端保留一定质量。
图4给出的平均最大类别概率中,朴素贝叶斯为67.5%,FinBERT为81.6%,Financial-RoBERTa高达97.6%,Qwen约89.3%–89.4%,LLaMA3为92.1%,Mistral为96.9%。
但高置信度不能等同于高准确率,因为Benzinga样本没有人工金标准标签,且各模型概率没有经过共同校准。报告因此使用模型内部的横截面排名,而不是比较不同模型的绝对分数。
图5(a)和表10显示,一日Rank IC全部为正:FinBERT最高,为0.0143;Financial-RoBERTa和朴素贝叶斯均为0.0141;Qwen两个版本均为0.0083;Mistral为0.0085;LLaMA3最低,仅0.0013。
但是二日IC全部转负,三日大多接近零或为负,五日全部为负。图5(a)直观呈现出一种“第一天略有正向关系、之后快速衰减或反转”的模式。
Financial-RoBERTa的一日年化ICIR最高,为1.015,FinBERT为0.972,朴素贝叶斯为0.951;但28项检验的最小调整后q值仍为0.9622,因此没有任何结果能经受多重检验校正。即使Financial-RoBERTa二日未经校正的Newey–West p值为0.0397,也不构成稳健证据。
一日多空组合中,FinBERT表现最好,毛收益12.96%、Sharpe比率1.11、最大回撤6.37%;其收益主要来自空头腿,空头收益为19.73%,但空头组合胜率低于50%,说明总收益可能由少数大幅成功交易贡献,而不是稳定的日常方向判断。
朴素贝叶斯一日多空毛收益为7.47%,Financial-RoBERTa、Mistral和LLaMA3为较小正收益。标准Qwen QLoRA为-2.35%,加权版本约为-0.03%,说明类别加权在下游表现上仅是相对减少损失,并未形成优势。
较长持有期中,长仓普遍赚钱、短仓普遍亏损。例如FinBERT三日和五日长仓收益分别为39.64%和33.89%,但空仓分别亏损22.15%和20.15%。这更像是2019年市场整体上涨带来的正向市场暴露,而非纯粹的情感横截面Alpha。FinBERT三日和五日多空收益仍为5.32%和4.34%,但相应IC仍为负且不显著,因此不能据此确认持续预测能力。
报告识别的主要风险包括:
从批判性角度看,最需要注意的是实验一的模型比较存在训练公平性差异:QLoRA模型接受了合并数据训练,而FinBERT和Financial-RoBERTa没有继续微调,因此不能据此得出LLM架构的普遍优越性。 另外,实验二中高置信度模型与高收益之间并不存在对应关系,Financial-RoBERTa置信度最高,却没有获得最佳一日多空收益;这说明概率幅度可能反映校准风格,而非真实信息强度。 最后,FinBERT最佳的一日投资组合结果与其统计上不显著的IC并存,提示收益可能受少数极端观察、样本结构或未控制风险暴露影响。
总体而言,报告的证据链较为清晰:金融情感分类需要金融语境,QLoRA能够以较低资源成本把通用LLM适配到异质金融文本上;在统一三分类测试中,Mistral-7B和LLaMA3-8B达到约0.88的准确率和宏平均F1,明显优于零样本Qwen、朴素贝叶斯以及未经进一步适配的FinBERT和Financial-RoBERTa。
但下游图表和表格揭示了更重要的现实:模型对新闻的标签分布和置信度差异很大,最强分类器并非最强收益预测器;一日Rank IC虽普遍为正,却非常小,长期方向转弱,且经过Newey–West与FDR校正后没有稳健显著结果。
因此,作者的总体立场是:QLoRA是有效的金融语言适配工具,但高情感分类准确率不能自动转化为可交易Alpha。 要判断金融LLM真正的投资价值,还需要更长时间、更广股票池、点时一致的数据、盘中事件研究、异常收益和风险因子调整,以及直接面向市场反应进行训练的目标函数。
2608.04200.pdf