本报告研究了将基于大型语言模型(LLM)的情绪分析整合进强化学习(RL)算法的框架中,以提升股票及多资产组合的交易表现。实验分别在苹果公司(AAPL)单股交易和ING企业领袖信托B系列(LEXCX)组合管理中展开。结果表明,情绪增强的RL模型在净值和累计利润方面均优于无情绪输入的RL模型,并且在组合交易中显著超过实际基金的买入持有策略,体现了结合定量与定性信号的策略优势与潜力 。
研究背景与目的:强化学习近年来在金融交易领域获得关注,具备动态优化策略的能力,但传统RL算法仅基于价格及成交量数据,缺少对市场情绪等定性因素的整合。该研究尝试使用LLM生成的新闻情绪评分作为RL模型输入,提升交易策略的灵敏度与适应性 .
方法框架:构建基于Markov决策过程的RL交易环境,采用Proximal Policy Optimization(PPO)算法,实现连续动作空间(买、卖、持有及交易量),并设计包含收益、资产稳定性及交易成本的奖励函数。情绪信息作为[-1,1]标度的数值添加至状态空间,且基于情绪调节买卖交易量及奖励函数,以增强策略与市场情绪的对齐 .
单股交易实验:以苹果公司(AAPL)为标的,数据周期为2023-11-16至2024-11-10,基于OpenAI Gym环境训练RL模型20,000步并评估100轮。情绪增强模型与无情绪模型表现比较显示:
组合交易实验:采用LEXCX基金成分股共21只,数据同样覆盖2023年11月至2024年11月,建立多资产交易环境,情绪分数独立输入每只股票。训练及评估同单股步骤。结果为:
情绪因子作用机制:情绪分数作为市场情绪的定量化表达,结合价格波动调整交易决策和奖励机制,使得模型更灵敏捕捉市场新闻带来的价格驱动信号,有效实现动态风险调整与机会捕捉 .
表格对比(单股与组合平均表现):
| 模型类型 | 单股平均净值($) | 单股平均利润($) | 组合平均净值($) | 组合平均利润($) | 真实LEXCX净值($) | 真实LEXCX利润($) |
|---|---|---|---|---|---|---|
| RL(无情绪) | 10,825.41 | 825.41 | 13,952.29 | 3,952.29 | - | - |
| RL(融合情绪) | 11,259.51 | 1,259.51 | 14,201.94 | 4,201.94 | - | - |
| 实际LEXCX买入持有策略 | - | - | - | - | 11,382.60 | 1,382.60 |
结论与展望:融合LLM驱动的情绪分析显著提升强化学习交易模型表现,结合定量与定性信息为金融市场动态决策提供了新路径。未来可考虑更细粒度情绪数据、细化交易成本模拟、扩大资产类别及市场周期多样性验证 .
图3(无情绪版净值与利润):100次回合平均净值约$10,825.41,平均盈利$825.41。模型能稳定获得正回报实现资本积累。
图4(无情绪版单回合走势):净值稳步上升,余额和利润波动明显,显示代理灵活调整仓位,收益与风险动态平衡。
图5(无情绪版净值利润分布箱型图):净值和利润波动区间较窄,表现稳定性和重复性良好。
图6(带情绪版净值与利润):平均净值提升至$11,259.51,平均利润增至$1,259.51,情绪增强带来明显绩效提升。
图7(带情绪版单回合走势):净值攀升更明显,余额和利润波动更集中,投资决策更趋合理。
图8(带情绪版分布箱型图):中位数等绩效指标优于无情绪版,表明情绪信号有效辅助学习。
表1总结两种模型相比,情绪参与带来约46%的利润提升及稳健净值增长。
图9(无情绪净值与利润):平均净值$13,952.29,平均利润$3,452.29,显示多资产环境提升了交易机会和值得关注的改进空间。
图10(无情绪单回合走势):净值稳健增长,余额较为平稳,说明代理有效控制交易风险。
图11(无情绪收益分布):波动有所变大,符合多资产多样性的实际情况,整体绩效稳定。
图12(带情绪净值与利润):平均净值进一步提升至$14,201.94,利润增至$4,201.94,情绪数据继续发挥积极影响。
图13(带情绪单回合走势):净值曲线更陡峭,利润曲线显示更多盈利机会。
图14(带情绪收益分布):中位数及平均值均高于无情绪模型,表明模型收益更高且稳定。
图15(LEXCX真实基金表现):实际净值$11,382.60,利润$1,382.60,RL模型尤其带情绪版本大幅领先,表明积极管理带来的显著优势。
表2清晰对比三种表现:无情绪RL、带情绪RL和基准基金,突出RL加情绪的领先地位。
报告并未直接涉及股票估值模型或估价倍数等传统估值技术,重心集中在RL算法性能与收益表现上,故估值分析侧重于模型的“价值”,即通过累积收益和净资产增长的指标间接体现。模型训练和奖励机制设计体现“价值最大化”目标。,12-19]
本报告系统研究了将基于LLM的情绪分析融入强化学习交易模型,以提高单股及投资组合交易绩效。通过多个严谨实验,作者展示该融合策略在苹果公司股票及21只股票组成的LEXCX投资组合上明显优于传统无情绪RL及买入持有策略。
尽管研究验证了方法的有效性,仍需针对真实市场复杂性、更加细粒度的情绪分析及模型泛化能力进行进一步研究和优化,方能确保实盘环境中的稳健与持久盈利能力。
本报告构架严密、数据详实,通过融合自然语言处理与强化学习,开创了金融量化交易的新思路,展现了情绪分析在提升算法交易策略中的核心价值。研究成果不仅在学术上填补了RL与LLM情绪集成的空白,也为实际投资机构提供了潜在的量化投资改进路径,具有广泛应用前景和推动金融科技发展的战略意义。
2411.11059.pdf