本文提出以多维度(相关性、极性、强度、不确定性、前瞻性)LLM情感信号预测WTI周度期货方向,使用2020–2025年能源新闻并将GPT-4o、Llama 3.2 与 FinBERT 比较,结果显示GPT-4o 与 FinBERT 结合带来最佳分类性能,且强度与不确定性维度为重要驱动因子,表明情感预测价值超越单一极性衡量
| Model | AUC Mean | AUC Std | Accuracy Mean | Accuracy Std | IC Mean | IC Std |
|---|---|---|---|---|---|---|
| AV Baseline | 0.5694 | 0.0349 | 0.4902 | 0.0328 | 0.0910 | 0.0894 |
| Tradition (AV+FinBERT) | 0.6200 | 0.0666 | 0.5216 | 0.0505 | 0.1571 | 0.1398 |
| GPT-4o | 0.6336 | 0.0563 | 0.5373 | 0.0490 | 0.2490 | 0.0372 |
| Llama 3.2 | 0.5892 | 0.1013 | 0.5137 | 0.0454 | 0.1147 | 0.1586 |
| LLM Ensemble (GPT+Llama) | 0.5974 | 0.0439 | 0.5804 | 0.0697 | 0.2118 | 0.0620 |
| GPT + FinBERT | 0.6515 | 0.0546 | 0.5608 | 0.0686 | 0.2283 | 0.0987 |
元数据与概览
逐节深度解读
图表与表格逐一解析(关键环节)
Table 1(新闻语料摘要,Table 1):样本规模与抽样信息显示:原始语料 29,153 篇、用于情绪抽取样本 8,639 篇,时间范围 2020-01-01 至 2025-12-31;平均每周文章(全样本/抽样)分别约 93 与 28 篇。
周度收益统计(同一段落):样本覆盖 314 周,周度对数收益均值 0.18%,标准差 6.37%,最小值 -29.31%(2020-03-16 至 20 周)与最大值 31.75%(2020-03-30 至 2020-04-30 周),样本中涨周约 52.87%(166 周),跌周 46.82%(147 周)。
Table 3(Polarity 分布统计,Table 3):四种情绪源的 polarity 均值:GPT-4o 0.2952、Llama 3.2 0.1109、FinBERT 0.3050、AlphaVantage 0.2177;标准差:GPT-4o 0.4323、Llama 0.3458、FinBERT 0.6801、AlphaVantage 0.2818;四分位数显示 Llama 的 25% 与中位数为 0(即 41.7% 的文章被 Llama 标为 0 极性),而 FinBERT 的中位数偏高(0.6491),第三四分位达 0.90,且具有长负尾。
Figure 1(两两极性 Pearson 相关热图):模型间两两极性相关度介于 47% 至 68% 之间,GPT-4o 与 Llama 3.2 的相关最高(68.1%),Llama 与 FinBERT/AlphaVantage 的相关最低(~47%),表明模型虽共享方向性信号,但仍有大量差异化信息存在。
Figure 2(GPT-4o vs Llama 3.2 五维分布箱线图):GPT-4o 在五个维度上普遍得分更高(更“敏感”),两模型的 polarity 相关度约 52.7%,但在 forwardness 与 intensity 上差异更大,其中 Llama 展示更大离散度与更保守的极性中位数为 0 的现象。
Table 4 与 Figure 3(交叉验证预测性能):六组特征集(AV Baseline、Tradition、GPT-4o、Llama、LLM Ensemble、GPT+FinBERT)的平均 AUC 分别:0.5694、0.6200、0.6336、0.5892、0.5974、0.6515;对应的 IC(均值)分别:0.0910、0.1571、0.2490、0.1147、0.2118、0.2283。
Figure 4(SHAP 解释 — GPT + FinBERT 模型):SHAP 平均绝对值排名表明最重要的特征依次为 gpt_intensity_mean、finbert_polarity_std、gpt_uncertainty_momentum、finbert_intensity_mean、gpt_uncertainty_mean 等;gpt_article_count 与 finbert_article_count 对模型贡献可忽略,表明文章数(交易量 proxy)在包含情绪特征后信息增益小。
估计方法与模型设定评价
风险因素与局限性(作者识别并我方补充)
结论性综合
总体评价与可复现性建议(基于报告内容)
引用与溯源说明
(结束)
2603.11408.pdf