本报告提出了一种基于Minsky情绪理论的多异构LLM代理设计框架(HAD),利用不同代理聚焦金融情感分析(FSA)中常见错误类型,通过多代理讨论提升FSA准确度。HAD框架在五个FSA数据集上进行测试,结果显示,框架相较于传统微调和简单提示,提升准确率达2.24%-9.46%,尤其在GPT-3.5模型上表现更为显著,有效缩减提示法与微调法间25%-35%的性能差距。语气、修辞及主体相关性代理贡献最大,而依赖性代理表现欠佳可进一步优化。本文为基于设计科学的LLM多代理协作与金融情感分析提供了理论与实践指导。
HAD框架设计理念基于Minsky的“心智与情绪理论”,将情绪视为不同功能资源激活的模式,设计五个异构LLM代理分别关注FSA中五类常见错误:(A1)语气(irrealis mood)、(A2)修辞、(A3)依赖性或对主体的关注、(A4)话题焦点、(A5)外部时间价格等参考信息,代理输出聚合形成最终情感判定 .
框架采用零样本提示与多代理协作方式,无需微调,适合数据稀缺且标签困难的金融情绪分析任务。设计包括单轮多代理调用及多轮共识机制形成最终标签 .
评测覆盖五个金融情绪分析数据集(Financial PhraseBank、StockSen、CMC、FiQA、SEntFiN),统计如下:
| 数据集 | 正类数量 | 负类数量 | 中性数量 | 总样本数 |
|---|---|---|---|---|
| FPB | 570 | 303 | 1391 | 2264 |
| StockSen | 4542 | 1676 | - | 6218 |
| CMC | 12022 | 1523 | - | 13545 |
| FiQA | 507 | 264 | - | 771 |
| SEntFiN | 2832 | 2373 | 2701 | 7906 |
HAD框架在GPT-3.5和BLOOMZ两种基础模型上的表现对比:
| 模型版本 | FPB 精度 | FPB F1 | StockSen 精度 | StockSen F1 | CMC 精度 | CMC F1 | FiQA 精度 | FiQA F1 | SEntFiN 精度 | SEntFiN F1 |
|---|---|---|---|---|---|---|---|---|---|---|
| GPT-3.5 | 78.58% | 81.06 | 67.64% | 73.93 | 85.31% | 91.05 | 90.53% | 92.41 | 67.99% | 63.21 |
| GPT-3.5 HAD | 80.48% | 81.41 | 70.44% | 76.55 | 87.55% | 92.50 | 93.91% | 95.22 | 77.45% | 76.93 |
| BLOOMZ | 34.63% | 32.90 | 63.65% | 72.47 | 87.16% | 92.62 | 78.33% | 83.64 | 51.32% | 41.87 |
| BLOOMZ HAD | 34.19% | 32.93 | 72.80% | 83.97 | 87.67% | 92.95 | 76.78% | 83.03 | 50.16% | 40.69 |
消融分析验证各代理贡献情况:
| 移除代理 | 精度影响(平均,绝对值%) | F1影响(平均,绝对值) | 结论 |
|---|---|---|---|
| A1(语气) | -0.43 | +0.02 | 重要,去除降低指标表现 |
| A2(修辞) | -0.76 | -0.29 | 重要,去除降低指标表现 |
| A3(依赖性) | +1.17 | +1.34 | 无效,去除反而提升表现 |
| A4(焦点) | -0.12 | +0.16 | 重要,去除略微影响 |
| A5(参考) | +1.26 | +1.28 | 作用不确定,因数据不同表现不一 |
典型案例说明HAD如何借助多代理讨论纠正单一提示错误。例如复杂含多公司或含隐含语气与修辞的语句得到更准确判断,提高了情绪判定的准确性与解释性 .
结论指出HAD框架为金融情绪分析引入设计科学理念与多代理协作模型,有效提升FSA模型性能和泛化能力。未来可进一步优化依赖性代理设计,并关注计算成本与大规模代理扩展的权衡 .
| Dataset | FPB | StockSen | CMC | FiQA | SEntFiN |
|---|---|---|---|---|---|
| Positive | 570 | 4542 | 12022 | 507 | 2832 |
| Negative | 303 | 1676 | 1523 | 264 | 2373 |
| Neutral | 1391 | - | - | - | 2701 |
| Total | 2264 | 6218 | 13545 | 771 | 7906 |
| Model Dataset | FPB Acc. | FPB F1 | StockSen Acc. | StockSen F1 | CMC Acc. | CMC F1 | FiQA Acc. | FiQA F1 | SEntFiN Acc. | SEntFiN F1 |
|---|---|---|---|---|---|---|---|---|---|---|
| (Fin-)BERT | 91.69 | 89.70 | 76.90 | 84.50 | 93.50 | - | - | - | 94.29 | 93.27 |
| BloombergGPT | - | 51.07 | - | - | - | - | - | 75.07 | - | - |
| GPT-3.5 | 78.58 | 81.06 | 67.64 | 73.93 | 85.31 | 91.05 | 90.53 | 92.41 | 67.99 | 63.21 |
| GPT-3.5 (HAD) | 80.48 | 81.41 | 70.44 | 76.55 | 87.55 | 92.50 | 93.91 | 95.22 | 77.45 | 76.93 |
| BLOOMZ | 34.63 | 32.90 | 63.65 | 72.47 | 87.16 | 92.62 | 78.33 | 83.64 | 51.32 | 41.87 |
| BLOOMZ (HAD) | 34.19 | 32.93 | 72.80 | 83.97 | 87.67 | 92.95 | 76.78 | 83.03 | 50.16 | 40.69 |
| Model / Dataset | FPB Acc Δ | FPB F1 Δ | FiQA Acc Δ | FiQA F1 Δ | SEntFiN Acc Δ | SEntFiN F1 Δ | Average Acc Δ | Average F1 Δ |
|---|---|---|---|---|---|---|---|---|
| GPT-3.5 (HAD) | baseline | baseline | baseline | baseline | baseline | baseline | - | - |
| w/o A1 (Mood) | -0.71 | +0.64 | -0.01 | +0.02 | -0.58 | -0.61 | -0.43 | +0.02 |
| w/o A2 (Rhetoric) | -2.12 | -0.39 | +0.64 | +0.52 | -0.80 | -0.99 | -0.76 | -0.29 |
| w/o A3 (Dependency) | +3.00 | +3.56 | +0.51 | +0.42 | +0.01 | +0.03 | +1.17 | +1.34 |
| w/o A4 (Aspect) | +0.04 | +0.97 | +0.25 | +0.22 | -0.66 | -0.69 | -0.12 | +0.16 |
| w/o A5 (Reference) | +4.32 | +4.29 | -0.01 | -0.00 | -0.52 | -0.43 | +1.26 | +1.28 |
本报告不涉及传统财务估值模型,主要集中于技术框架设计与语言模型性能分析,故无典型估值分析内容。
本报告系统提出并验证了基于Minsky“社会心智”情绪资源激活理论的异构多代理LLM设计框架HAD,创新性地将生成式大语言模型应用于金融情绪分析领域。通过五大异构代理分别聚焦FSA易错点,推动多视角、分工协作推理,实现了对复杂金融文本情绪的更深刻理解和准确分类:
总之,本研究既深化了LLM在专业领域中的设计原理,也为面向金融领域的智能决策支持系统提供了新思路和实践前沿,具有重要的理论价值和应用潜力。未来,提升扩展性、减少计算成本、完善代理设计及加强对领域知识的融合将是推进该框架广泛应用的关键方向。
(全文完)
2401.05799.pdf