本文提出一种融合金融新闻情绪信息的Actor-Critic深度强化学习股票交易框架，将情绪倾向分别注入状态空间与奖励函数，并比较A2C、PPO、DDPG、TD3和SAC五类智能体在印度股票市场中的表现。研究基于2019年1月至2024年6月的五只印度大盘股数据，并以2023年6月至2024年6月进行约一年期交易实验。结果显示，结合策略优化与Q学习的DDPG和SAC在深度情绪注入下整体表现更稳定，其中DDPG取得最高年化收益率和夏普比率，SAC的夏普比率达到2.02；TD3则因更保守的价值估计受到情绪奖励波动影响，表现有所下降。²³⁶⁸⁹

研究目标与总体结论 ¹²⁹

• 研究构建并验证融合市场情绪信息的自动化股票交易策略，比较A2C、PPO、DDPG、TD3和SAC五类Actor-Critic深度强化学习智能体。¹²
• A2C与PPO主要进行策略优化，DDPG、TD3和SAC将策略优化与Q学习结合；后者在情绪深度注入后整体展现出更好的收益最大化与风险控制能力。¹⁵⁹
• 研究结论认为，DDPG在深度情绪注入下表现最突出，SAC也显著改善，而TD3因保守的价值更新机制对情绪奖励波动更敏感。⁹

数据集与金融情绪特征 ²³

• 研究选取Reliance、Adani、Bharti Airtel、HDFC和ICICI五只印度大盘股，覆盖能源、电信和银行等主要金融领域；股票历史数据区间为2019年1月至2024年6月。²
• 股票数据来自Yahoo Finance，包含开高低收、成交量等字段，并加入MACD、布林带、RSI-30、CCI-30、DX-30、30日均线、60日均线、VIX和市场扰动度等特征。²
• 新闻数据通过Google RSS Feeds API获取，并使用FinBERT对新闻标题生成正面、负面和中性情绪标签及情绪分数；最终情绪数据维度为4843×4。²³
• 对同一股票同一交易日的多条新闻，研究将情绪分数按标签方向调整后取均值，形成倾向得分；缺失新闻日期的倾向得分设为0，表示中性情绪。³

状态、奖励与交易环境设计 ³⁴⁵

• 股票交易被建模为马尔可夫决策过程，由环境、状态、奖励和智能体构成，智能体根据市场状态执行买入、卖出或持有操作。³⁴⁵
• 状态空间包含现金余额、当前股价、持股数量、技术指标以及各股票的情绪倾向得分，使智能体能够进行情绪感知决策。³
• 无情绪或仅在状态空间注入情绪时，奖励主要根据交易前后的资产价值变化计算；深度情绪注入时，奖励进一步结合各股票价格变化与情绪倾向得分形成平均个股奖励。⁴⁵
• 实验初始投资组合为100万印度卢比，交易区间约为2023年6月至2024年6月，并从年化收益率、夏普比率、稳定性、年化波动率和最大回撤等维度评估策略。⁶⁷

无情绪交易：PPO收益与风险调整表现领先 ⁷

• 在仅使用技术指标的基准实验中，PPO取得最高年化收益率、稳定性和夏普比率，同时最大回撤最低，体现出较好的收益—风险平衡能力。⁷
• DDPG的年化波动率最低，为0.1358；PPO波动率为0.1531，因此在偏好低波动的风险厌恶型投资者中，DDPG具有一定适用性。⁷
• 对收益最大化和风险调整收益而言，研究建议优先考虑PPO；对风险厌恶型交易而言，DDPG因较低波动率、较低回撤和较高稳定性而更具吸引力。⁷

部分情绪注入：TD3与SAC更具优势 ⁷⁸

• 将情绪倾向得分加入状态空间后，A2C、DDPG、TD3和SAC的年化收益率均有所改善，但PPO表现明显下降。⁸
• TD3在收益、波动率和最大回撤方面接近A2C，并表现出最高稳定性和较高夏普比率，说明其单位风险收益表现较好。⁸
• SAC兼具较低波动率、最低最大回撤和稳定收益，更适合风险厌恶型策略；TD3在多数指标上表现较强，更适合追求收益最大化的场景。⁸
• 研究将PPO表现下降归因于其限制策略大幅更新的设计，实时情绪分数的波动可能使其更新过于保守。⁸

情绪深度注入：DDPG综合表现最优，SAC风险调整收益强 ⁸⁹

• 深度情绪注入同时作用于状态空间和奖励函数，使情绪信息更直接地影响智能体的决策与收益反馈。⁴⁸
• A2C年化收益率约为26%，夏普比率为1.23，表现出中等盈利能力和可接受的风险调整收益。⁸
• DDPG取得最高年化收益率和最高夏普比率，同时具备较高稳定性和较低最大回撤，是深度情绪注入下综合表现最优的智能体。⁸⁹
• SAC的夏普比率达到2.02，并保持较高稳定性，显示出较强的风险调整收益能力。⁹
• TD3年化收益率和夏普比率下降，研究认为其双重Q学习与保守价值更新可能放大了情绪奖励波动带来的谨慎行为，导致探索不足和策略表现下降。⁹
• PPO在深度情绪注入下仍未产生显著利润，整体表现与部分情绪注入阶段接近。⁸⁹

量化策略与算法机制 ⁵⁶⁹

• 策略标的池为五只印度大盘股，智能体以价格、技术指标、投资组合信息和FinBERT情绪倾向得分作为状态输入，并在连续交易过程中选择买入、卖出或持有。²³⁴⁵
• A2C通过Actor与Critic及优势函数优化策略；PPO通过裁剪概率比限制策略更新幅度，以提高高波动市场中的稳定性。⁵
• DDPG使用经验回放和确定性策略梯度处理连续动作空间；TD3通过目标策略平滑、延迟策略更新和双重Q学习降低价值高估偏差。⁵⁶
• SAC采用最大熵强化学习，在最大化收益的同时鼓励探索，并通过Actor网络、双Critic网络、经验回放和温度参数更新策略。⁶
• 研究的三阶段实验依次为无情绪交易、状态空间中的部分情绪注入，以及同时向状态和奖励函数注入情绪的深度情绪注入。⁶⁷⁸

研究局限与后续方向 ⁹

• 研究建议引入可解释强化学习，以识别情绪得分和技术指标等特征如何影响智能体的交易决策。⁹

一、报告元数据与总体概览

报告标题：《Financial Context-Rich Strategy for Actor-Critic based Agents: A Deep Reinforcement Learning Approach for Stock Trading》。
作者：Hrishikesh Singh、Aarti Sharma、Millie Pant。三位作者均来自印度理工学院鲁尔基分校应用数学与科学计算相关院系，其中 Millie Pant 给出了机构邮箱。¹
发布机构与日期：所提供原文未明确说明期刊、会议或正式发布日期，因此无法据此确认其出版机构和最终发表日期。报告所使用的数据截止到2024年6月，实验交易区间大致为2023年6月至2024年6月。², ⁶
研究主题：将金融新闻情绪分析与深度强化学习结合，用于印度股票市场的自动化交易，重点比较五种Actor-Critic类算法——A2C、PPO、DDPG、TD3和SAC。¹, ⁵

报告的核心观点是：仅依赖价格、成交量和技术指标的交易策略，无法完整反映选举、预算、政治不稳定、社会情绪和突发经济事件对股票价格的影响，因此应将金融新闻情绪纳入强化学习交易代理的状态空间和奖励函数中。¹ 研究进一步认为，不同算法对情绪信息的吸收能力存在明显差异；总体而言，同时进行策略优化和Q值学习的DDPG、TD3、SAC，在情绪深度注入后表现出比单纯策略优化算法更强的盈利潜力和风险调整能力，但TD3是一个重要例外。¹, ⁹

报告并未给出传统意义上的“买入/持有/卖出”股票评级或单一目标价，因为研究对象不是某一家公司，而是交易算法。其结论更接近“算法选择建议”：无情绪信息时PPO偏向高收益与较好综合表现，DDPG偏向较低波动；部分情绪注入时TD3更适合利润最大化、SAC更适合风险厌恶型交易；深度情绪注入时DDPG总体最强，SAC紧随其后。⁷, ⁸, ⁹

二、研究背景与理论动机

2.1 传统预测方法的局限

作者指出，印度经济增长、数字经济发展、社交媒体普及和金融知识提升，正在推动更多零售投资者进入股票市场，因此需要既能盈利又能控制风险的自动化交易策略。¹ 报告将传统策略的主要问题归结为两个方面：第一，基于随机微积分、数值分析或二次规划的模型往往难以处理现实市场的高度动态性；第二，监督学习通常先预测价格，再依据预测结果制定交易决策，存在所谓的“预测瓶颈”。¹

强化学习与监督学习的区别在于，监督学习是“从样本中学习”，而强化学习是通过与环境交互、根据行动结果获得奖励来学习。股票市场具有连续决策、反馈延迟和随机波动等特征，因此强化学习理论上更适合直接学习“何时买入、卖出或持有”，而不必先单独建立价格预测模型。¹ 但是，普通强化学习在面对大量市场变量时存在信息处理和扩展能力不足的问题，深度强化学习则利用神经网络提取复杂特征，试图解决这一问题。¹

作者进一步强调，财务报表、技术指标、价格和成交量属于定量信息，而新闻标题、社会情绪、政治事件和宏观政策等属于定性信息。如果只纳入定量变量，就相当于只观察市场的一部分，因此研究将金融新闻情绪作为额外的市场上下文。¹

2.2 文献综述的作用

相关工作部分回顾了线性回归、机器学习、人工神经网络、CNN、LSTM、GRU、自然语言处理和强化学习在股票预测中的应用。² 这些文献被用来说明两个事实：一是深度学习能够处理复杂的时间序列与文本特征；二是强化学习不仅可以预测，还可以在模拟环境中直接形成交易策略。²

报告的研究增量并不在于提出一种全新的强化学习基础算法，而在于在相同市场环境下比较五种具有不同策略设计的Actor-Critic代理，并考察情绪信息以不同深度注入后对交易结果的影响。² 因此，该研究的主要贡献是一个比较框架和情绪融合实验，而不是纯粹的算法理论创新。

三、数据集与情绪变量构造

3.1 股票历史数据

研究选择了五只印度大型股票：Reliance、Adani、Bharti Airtel、HDFC和ICICI，覆盖能源、电信和银行等重要行业。² 选择大市值股票的逻辑是，大盘股通常相对稳定、波动率低，公开财务数据更加完整，并且对市场指数和整体市场趋势具有更强代表性。²

股票数据覆盖2019年1月至2024年6月，约5.5年，数据来源为Yahoo Finance。基础字段包括日期、股票代码、开盘价、最高价、最低价、收盘价、成交量和交易日信息。² 作者进一步添加了MACD、布林带、RSI-30、CCI-30、DX-30、30日简单移动平均线、60日简单移动平均线、CBOE波动率指数VIX和市场扰动指标turbulence。²

这些变量分别承担不同功能：MACD和移动平均线用于识别趋势，布林带用于衡量价格相对于历史波动区间的位置，RSI用于识别超买超卖，CCI和DX用于观察价格动量与趋势强度，VIX和turbulence则用于捕捉市场层面的风险状态。报告没有逐项披露这些指标的参数细节、计算窗口之外的标准化方法，也没有说明是否对不同股票的价格和指标进行了统一尺度处理，这会影响神经网络训练的稳定性。²

3.2 金融新闻与FinBERT情绪分析

新闻数据通过Google RSS Feed API获得，研究者针对五只股票收集每天多条新闻标题，单个股票单日的标题数量通常为1至10条。² 同一天收集多条标题并取综合情绪，理论上比只使用单条新闻更能减少单一报道偏差。

情绪分析采用FinBERT。FinBERT针对金融文本进行预训练，输出positive、negative和neutral三类归一化分数，研究者将最高分对应的类别作为该标题的情绪标签，并将正面、负面、中性分别编码为1、-1和0。² 最终新闻情绪数据集维度为4843×4，字段为Date、Ticker、Sentiment Label和Sentiment Score。³

报告定义了“倾向得分”或inclination score。对于股票 (s) 在日期 (d) 的每条新闻，先将FinBERT的情绪分数乘以相应的方向标签，再对同一股票、同一天的所有新闻取平均值。因此，该指标应落在-1至1之间：越接近1，说明新闻整体偏正面；越接近-1，说明整体偏负面；接近0则表示中性或正负情绪相互抵消。³ 当RSS接口没有新闻时，研究者将情绪分数和情绪标签设为0和neutral；合并股票数据后，缺失的倾向得分同样填充为0。³

这一处理方式使数据集保持完整，但也引入重要假设：没有新闻不等于市场情绪中性。无新闻可能是数据抓取失败、新闻源覆盖不足或日期匹配问题，而不是投资者真正没有情绪。报告没有进一步区分“真实中性”与“缺失填零”，因此情绪变量可能被系统性稀释。³

四、交易环境、状态、奖励与算法

4.1 市场结构图解

图1展示了印度证券市场相关的市场基础设施，包括外部成员、监管机构、数据供应商、托管机构、清算银行和存管机构，以及互联网、交换机、行情数据、订单簿与交易、风险管理、清算结算、会员数据、监控和数据仓库之间的关系。³

该图的主要作用不是提供实证结果，而是说明研究所模拟的真实交易环节位于“市场数据馈送”和“订单簿与交易”之间。作者并未完整模拟交易所的全部基础设施，而是抽取与自动化股票交易最相关的部分进行环境建模。³ 因此，图1更像是现实市场的架构背景图，而不是实验系统的精确实现图。

4.2 状态空间与强化学习流程

图2将交易过程划分为Policy、Agent、Environment、State和Reward。策略与环境交互，代理根据状态产生行动，环境根据行动更新状态并计算奖励，奖励再反馈给代理以更新策略。⁴

报告定义的状态包括现金余额、当前股票价格、各股票持仓数量、技术指标以及每只股票的情绪倾向得分。³ 其理论依据是马尔可夫决策过程：如果状态包含了当前决策所需的全部信息，那么下一状态和奖励只依赖于当前状态及行动，而不直接依赖更早的历史。³, ⁴

不过，在股票市场中，单日状态是否真正满足马尔可夫性质存在疑问。市场价格可能受到尚未完全反映的历史信息、新闻发布时间、交易成本、流动性和投资者行为影响，而这些变量未必完全包含在当前状态中。报告将其建模为有限状态空间，是一种便于计算的建模假设，而不是对真实市场机制的证明。³

4.3 奖励函数与“深度情绪注入”

无情绪交易以及“仅将情绪放入状态空间”的实验，奖励等于一个时间步开始和结束时资产总值的变化。资产总值由现金余额加上持有股票的市场价值组成，因此该奖励本质上是组合盈亏，而不是单纯的价格预测误差。⁴

深度情绪注入时，作者在资产变化之外，又根据每只股票的价格变化与其倾向得分计算个体奖励，再对所有股票的个体奖励取平均，最后将其与资产变化结合形成最终奖励。⁴, ⁵ 其直觉是：如果股票价格上涨且新闻情绪为正，代理会得到正向强化；如果价格变化与情绪方向不一致，奖励可能被削弱或反向调整。

这种设计可以让情绪更直接地影响策略学习，但也存在奖励函数偏置风险。情绪得分本身是对新闻内容的估计，不等于可交易收益；将情绪与价格变动直接相乘，可能会放大情绪变量的噪声，并使代理更偏好作者预先设定的“情绪—价格一致性”。报告没有给出各奖励项的权重、归一化方式或交易成本扣除细节，因此难以判断深度注入带来的改善究竟来自信息增量，还是来自奖励函数重新定义。⁴, ⁵

4.4 三类行动与五种代理

图3用状态转移链展示了买入、卖出和持有三种行动：持有会留在当前状态，买入或卖出则使持仓和组合状态发生变化。⁵

图4将算法分为两类：A2C和PPO属于主要基于策略优化的方法；DDPG、TD3和SAC同时结合策略优化与Q学习思想。⁵

• A2C：由actor决定行动，由critic估计行动价值，优势函数用于降低策略梯度方差并提高学习速度。A2C是同步更新方法。⁵
• PPO：通过限制新旧策略概率比，避免策略更新过大。作者认为这有助于在高波动市场中避免过度交易和策略突然变化，但其保守性也可能导致它对快速变化的情绪信息反应不足。⁵, ⁸
• DDPG：属于离策略、连续行动空间算法，使用经验回放缓冲区，并通过确定性策略直接输出行动。⁵, ⁶
• TD3：在DDPG基础上加入目标策略平滑、延迟策略更新和截断双Q学习，以降低Q值高估偏差。它通过两个Q网络取较低估计，理论上会更加保守。⁶
• SAC：使用最大熵强化学习，在追求收益的同时鼓励探索。温度参数控制收益最大化与策略随机性之间的权衡，作者认为这有助于应对印度市场的非标准化和不稳定环境。⁶

SAC流程图或算法说明包含初始化actor、两个critic、目标Q网络、温度参数和经验回放池，然后在每一步观察状态、采样行动、执行交易、计算奖励、存储经验并更新网络。⁶ 这说明SAC的实验逻辑是典型的离策略actor-critic框架，但原文未披露网络层数、学习率、折扣因子、批量大小、探索噪声和训练轮次等关键超参数。

五、实验设计与评价指标

研究设置初始投资组合为100万印度卢比，实验交易期约为一年，即2023年6月至2024年6月。实验分为三阶段：不使用情绪、将情绪加入状态空间的部分注入、同时加入状态和奖励的深度注入。⁶

评价指标包括：

1. 年化收益率：反映期末组合价值相对于初始组合价值的年度增长。
2. 夏普比率：用超额收益除以收益波动率，衡量每单位风险获得的收益，越高越好。
3. 稳定性：由组合增长的均值和标准差构成，意图衡量收益的一致性。
4. 年化波动率：以日收益率标准差乘以(\sqrt{252})计算，数值越低通常意味着价格或组合波动风险越低。
5. 最大回撤：从历史高点到随后低点的最大跌幅，越低表示潜在损失控制越好。⁷

这些指标分别覆盖收益、风险调整收益、稳定程度、波动性和极端损失。但原文没有清楚说明无风险利率取值、收益率采用简单收益还是对数收益、稳定性公式的完整形式，也没有说明最大回撤是否基于每日收盘组合价值计算。⁷

六、表格、曲线图与实验结果解读

6.1 无情绪注入：表2

表2比较五种算法在只使用技术指标时的表现，但所提供的文本没有完整显示表格中的全部数值，因此不能对每个指标进行精确逐项复算。报告明确指出，A2C表现中等，最大回撤为-0.1293，是五个代理中最差的；DDPG的年化收益优于A2C，波动率最低，为0.1358，并具有较高夏普比率；PPO拥有最高年化收益、稳定性和夏普比率，同时最大回撤最低；SAC的夏普比率接近PPO，收益也仅次于PPO。⁷

作者据此将PPO定位为收益和风险调整表现优先的算法，将DDPG定位为低波动、风险厌恶型交易的更合适选择。PPO的波动率为0.1531，虽然不是最低，但其较高收益、较高夏普比率和较低回撤使其综合表现最好；DDPG则依靠0.1358的最低波动率成为更稳健的选择。⁷

6.2 部分情绪注入：表3与图5

部分注入只将倾向得分加入状态空间，未将其直接纳入奖励函数。图5分别展示A2C、DDPG、TD3、PPO和SAC在“无情绪”和“有情绪”条件下的组合价值曲线。⁸

从图5可见，A2C、DDPG、TD3和SAC的绿色情绪曲线在样本期末普遍高于蓝色无情绪曲线；其中DDPG、TD3和SAC的差距尤其明显，表明状态中的新闻信息可能帮助这些算法更好地识别市场阶段变化。PPO则不同，其无情绪曲线在后期高于情绪曲线，说明情绪信息并非对所有算法都有效。⁸

文本对表3的解释是：A2C取得较高收益和较高夏普比率；DDPG收益改善、波动适中、稳定性较好且回撤相对较低；TD3在收益、波动和最大回撤方面接近A2C，但稳定性和夏普比率表现最好；PPO收益显著下降；SAC具有较好收益、中等波动、较强夏普比率和最低回撤。⁷, ⁸

作者将PPO的下降归因于其裁剪机制。由于新闻情绪可能快速变化，PPO为了避免策略大幅更新，可能过于保守，无法及时利用情绪变化带来的交易机会。⁸ 这一解释与PPO的算法特征一致，但报告没有提供策略更新幅度、换手率或行动分布数据，因此尚不能证明“PPO过度保守”是唯一原因。

在应用建议上，作者认为TD3更适合追求利润最大化的投资者，因为其多数指标表现较强；SAC更适合风险厌恶者，因为它在波动率、回撤和收益一致性之间取得平衡。⁸

6.3 深度情绪注入：表4与图6

深度注入同时使用状态情绪和奖励情绪。图6显示了五种算法在该设定下的组合价值变化。⁹

图6中，A2C的情绪曲线明显高于无情绪曲线，期末组合价值约达到180万印度卢比，而无情绪曲线约为150万左右；DDPG的差距更大，情绪曲线期末约达到170万以上，而无情绪曲线约为130万；SAC的有情绪曲线由约100万升至145万左右，而无情绪曲线大部分时间在100万附近波动，说明深度情绪注入对SAC的改善十分明显。⁹ TD3两条曲线整体较为接近，虽然情绪曲线末期略高于无情绪曲线，但增幅明显小于A2C、DDPG和SAC；PPO的情绪曲线也高于无情绪曲线，但仍未达到报告中无情绪阶段PPO的优势水平。⁹

表4和正文给出的关键结论包括：A2C年化收益约26%，夏普比率为1.23；DDPG拥有最高年化收益和最高夏普比率，并且稳定性高、最大回撤较低；TD3收益和夏普比率下降，但最大回撤略有改善；PPO盈利能力较弱；SAC取得不错的收益，夏普比率达到2.02，且稳定性较高。⁸, ⁹

因此，深度注入后的总体排序更偏向DDPG，其次是SAC。作者认为DDPG持续受益于情绪信息，SAC也得到显著改善；TD3则因双Q网络的保守估计和奖励信号波动加大而可能过度谨慎，减少探索并形成次优策略。⁹ 这解释了为什么理论上更先进的TD3并没有在本实验中稳定优于DDPG：算法复杂度和保守性未必适合当前奖励函数及样本规模。

七、估值与投资含义

本报告不存在DCF、相对估值、市盈率、EV/EBITDA或目标价分析，因为研究对象是交易代理而非单一上市公司。报告所谓的“价值”主要是模拟组合的终值、收益率和风险调整收益，不应被理解为公司内在价值估计。⁶, ⁷

从策略选择角度看，报告给出了条件化结论：

• 在不使用情绪时，PPO更适合收益和综合风险调整表现优先的策略，DDPG更适合低波动目标。
• 在部分情绪注入时，TD3更适合追求较高收益，SAC更适合风险厌恶型投资。
• 在深度情绪注入时，DDPG总体最优，SAC在夏普比率和稳定性方面具有较强竞争力。⁷, ⁸, ⁹

八、风险因素与批判性评估

第一，样本范围有限。研究只选择五只印度大盘股，虽然有利于数据质量和可交易性，但结果未必适用于小盘股、其他行业、其他国家或不同市场周期。²

第二，回测周期较短，主要结果来自约一年的交易区间。如此短的时间可能受到特定牛市、政策周期或宏观事件影响，无法证明策略在长期熊市、横盘市或危机阶段同样有效。⁶

第三，报告没有充分说明训练集、验证集和测试集如何划分，也没有说明是否存在滚动训练、样本外测试或多次随机种子重复实验。强化学习代理可能通过反复与历史数据交互而过拟合，单次回测结果不能直接等同于真实交易能力。⁶, ⁹

第四，交易现实性仍有限。原文描述了订单簿、交易和风险管理等市场组件，但实验部分没有明确列出佣金、印花税、买卖价差、滑点、流动性约束、涨跌停限制和市场冲击成本。如果这些因素没有纳入奖励和组合价值计算，报告中的收益可能高于可实际实现的收益。³, ⁴

第五，情绪数据存在缺失填零问题。RSS没有返回新闻时被直接视为中性，这可能将数据质量问题误判为市场中性状态。³ 此外，新闻发布时间与股票交易时间之间的先后关系没有展开说明，若使用了收盘后发布的新闻来解释当日价格，就可能造成前视偏差。

第六，奖励函数可能内生地偏向某类策略。深度注入把价格变化与情绪得分直接结合，情绪不仅是观察变量，还改变了优化目标，因此深度注入与部分注入并不是单纯增加信息，而是同时改变了代理追求的奖励定义。⁴, ⁵ 这使得两种设置之间的性能差异需要谨慎解释。

第七，报告对算法优势的归因仍不充分。例如，PPO表现下降被解释为策略更新过于保守，TD3表现下降被解释为双Q学习过于谨慎，但没有提供换手率、探索熵、Q值估计误差、策略更新幅度或不同奖励权重下的敏感性分析，因此这些解释更接近合理假设，而非被实验充分验证的因果结论。⁸, ⁹

最后，正文称“政策优化加Q学习的代理在深度情绪注入后持续改善”，但TD3明显下降，因此更准确的表述应是DDPG和SAC改善较为稳定，而不是整个Q学习类别都一致改善。⁹ 结论部分实际上也承认TD3是例外，这构成报告内部需要注意的措辞细节。⁹

九、结论性综合

这份报告建立了一个将技术指标、股票持仓、现金余额和金融新闻情绪结合起来的深度强化学习交易框架。其最重要的实证发现不是“情绪信息对所有模型都有效”，而是“情绪信息的效果高度依赖注入方式和算法结构”。仅将情绪加入状态空间时，A2C、DDPG、TD3和SAC均有所改善，但PPO明显受损；进一步将情绪纳入奖励函数后，DDPG和SAC继续受益，DDPG取得最高年化收益和夏普比率，SAC则以2.02的夏普比率和较高稳定性表现突出。⁸, ⁹

图5和图6直观显示，有情绪策略在多数代理中拥有更高的期末组合价值，但PPO和TD3的表现说明，额外信息并不会自动转化为更高收益。算法是否能够适当地探索、更新策略并处理噪声奖励，是情绪数据能否产生价值的关键。⁸, ⁹

总体而言，作者支持将金融新闻情绪纳入自动化交易系统，并倾向于推荐DDPG作为深度情绪注入下的综合优选，SAC作为兼顾收益、稳定性和风险调整表现的替代方案。研究同时建议未来引入可解释强化学习，以解释情绪分数和技术指标如何影响具体买卖决策。⁹ 但由于数据范围、回测期限、交易成本、样本外验证和超参数披露仍不充分，这些结果更适合作为算法比较和研究假设，而不应直接视为已被真实市场充分验证的投资结论。⁶, ⁹