本报告提出了一种结合卷积神经网络(CNN)与深度强化学习(DRL)的量化交易框架,旨在解决传统多层感知机(MLP)在大规模连续动作空间中的学习瓶颈。通过将过去90日的日度特征向量拼接成矩阵输入CNN进行特征提取,显著提升了策略稳定性和收益表现,并在股票买卖规模扩大至1000股的环境下实现了持续稳定的累积奖励增长,同时降低了交易成本和风险指标(夏普比率)表现优异。
标题: CNN-DRL for Scalable Actions in Finance
作者: Sina Montazeri、Akram Mirzaeinia、Haseebullah Jumakhan、Amir Mirzaeinia
机构: University of North Texas(部分作者)、独立研究者
发表会议: CSCI-RTAI(计算科学与智能系统相关会议)
日期: 2023年(据文献及引用分析)
研究领域: 金融领域中基于深度强化学习(Deep Reinforcement Learning, DRL)的量化交易,聚焦于大规模连续动作空间下的动作表达与学习能力提升。
核心论点和目标:
本报告针对深度强化学习在金融市场交易中的一个难点——大规模连续动作空间(如买卖操作的股数扩展至1000股以上)下,传统多层感知机(MLP)架构难以稳定学习的问题,提出利用卷积神经网络(CNN)结构来提升特征提取能力和动作空间的扩展适应性。作者设计了将90天日度特征拼接成输入矩阵的CNN输入形式,并通过实验验证CNN架构在扩展动作规模下,学习过程稳定、累积奖励明显优于传统MLP架构。 报告核心传递的信息是CNN具备更强的局部模式抽取能力,及其对大规模动作空间的泛化能力,能够有效缓解MLP面临的梯度稀疏和过拟合问题。
3.A MDP模型定义:
交易环境被抽象成马尔科夫决策过程(MDP),定义了状态空间、动作空间、奖励函数和策略。详细说明:
状态包括账户余额(balance)、股价向量(price)、持仓股数(holdings)、及基本面指标(fundamental indicators)。股票数量D=30。
动作针对所有D支股票,包含买、卖、持有三种操作,影响持仓数量h。
奖励定义为组合资产价值增减(股票市值+现金余额);目标为最大化累计奖励。
采用PPO与A2C算法作为策略优化方法。
3.B 环境构建:
使用基于FinRL的金融交易环境修改为支持二维矩阵输入,包含过去90天数据滑动窗口,模拟实际环境时间序列演变。作者特别提及未采取传统意义上排除市场“动荡期”(turbulence)的方法,而是选择在动荡期也训练策略,体现更强的应对市场波动能力。
3.C 特征向量定义:
状态特征向量由以下组成:初始余额1维、30支股票价格30维、持仓30维以及15种财务比率(15*30=450维),特征总维度511。财务指标覆盖流动性(如流动比率)、杠杆(债务比率)、效率(存货周转率)、盈利能力(净利润率等)和市值评估(每股收益等)。
注意,财务指标多为季度数据,股价每日更新,形成有时序层级的混合数据。
本报告为计算机科学与金融交叉方向的技术研究论文,主要聚焦算法设计与性能评估,未涉及传统意义上的企业估值分析,因此无财务估值相关内容。本文关注模型性能指标(奖励、交易次数、夏普比率)来衡量算法优劣。
未明确列出风险条目,但论文通过以下暗示可见部分风险因素:
市场环境多变性与噪声:金融市场存在高度波动期和不可预测性,如疫情期的特别市场动荡,模型需具备较强稳健性。作者未排除动荡期,设计旨在增强模型的鲁棒性,减少因极端市场事件导致模型过拟合或失效的风险。
数据质量与覆盖度风险:数据来源虽基于Yahoo Finance和Wharton数据集,但依旧存在数据延迟、缺失或错误风险,可能影响模型学习效果。
模型泛化限制:当前仅选用30只股票样本,泛化至其他股票、资产类别或市场需进一步测试验证。作者提及未来工作方向。
缓解策略:采用批量归一化解决梯度消失问题,设计滑动窗口捕捉时间顺序,选用先进算法(PPO、A2C)提高稳定性。采集长期历史数据涵盖多种市场环境,增强鲁棒性。
潜在偏见:文章着重突出CNN优越性,MLP作为对照基线,但对比缺少其他先进架构,如Transformer或更复杂的混合模型,局限于两类架构对比,可能影响结论的广泛适用性。
假设不足:虽声明未排除市场动荡期,但未详细说明针对极端波动如何具体调整学习率、参数,及对异常事件的识别机制。
数据层面细节缺失:缺少训练细节,如训练迭代次数、超参数设定、具体网络层数细节、验证集表现、回测时间窗划分策略等,不利于重复性研究。
环境扩展性:作者使用FinRL框架,略显单一,未来考虑跨不同市场和资产类型可能面临的新挑战。
奖励度量敏感性:使用单一累计奖励和夏普率为主要评价指标,弱化了交易执行风险(滑点、流动性风险)等现实因素,实际策略部署前还需更系统的模拟和压力测试。
该报告提出了一种创新性的基于卷积神经网络的深度强化学习架构,用以解决量化交易中大规模连续动作空间的难题。传统多层感知机在动作空间拓展时因维度爆炸和梯度稀疏而导致学习效率与稳定性下降。作者创新地利用90天拼接的511维日度金融特征构建二维输入矩阵,利用CNN优异的局部特征捕捉能力克服了该限制。
深入解析表明:
CNN架构在累积奖励(数值由数万提升至百多万资产单位),交易成本(交易次数明显减少),以及风险调整收益(夏普比率提升至0.5以上)等关键绩效指标上,全方位优于MLP结构,尤其是在使用PPO和A2C两种强化学习算法下均表现出色。
图3的奖励曲线显示CNN能够更稳定地适应市场重大波动(如疫情),说明架构对市场动荡具备一定抗干扰能力。图4和图5进一步传递了该模型在成本控制和风险把控上的实际优势。
设计的CNN架构不仅有效解决了高维动作空间带来的传统DRL训练瓶颈,也为金融领域使用二维CNN分析时间序列和多维财务数据提供了可供借鉴的范例。
该研究摒弃了传统对市场动荡期的排除,增强了实用性和鲁棒性,具备较强的现实应用潜力。
总体而言,报告明确推荐CNN作为未来深度强化学习金融交易策略的重要基础架构。其成果对推动金融AI领域解决高维连续动作问题,提升量化策略性能具有显著启示意义。
本文报告所有分析依据涵盖第0至4页全部内容,特别重要数据和图表均溯源对应页码,详见正文中对应[page::x]标注。
2401.06179.pdf