本报告复现并深入分析了基于深度强化学习的金融组合管理框架,核心是EIIE结构与策略网络(CNN、RNN、LSTM)构成的模型,结合PVM记忆和OSBL在线学习机制,实现无需金融模型且显著考虑交易成本。在加密货币市场中,三种网络方法均超越传统策略且表现稳定,但在股票市场表现趋于均衡类似等权重组合,揭示了市场特性对方法有效性的影响。报告还提出未来优化方向,如增强输入特征和调整超参数,以提升股票市场表现
研究基于Jiang等(2017)提出的深度强化学习组合管理框架,采用EIIE(Ensemble of Identical Independent Evaluators)结构,由独立但参数共享的评估器组成,分别以CNN、RNN和LSTM构建策略网络,输入资产价格张量和前一时期组合权重,输出新的组合权重向量,实现投资组合的动态调整
框架增设Portfolio-Vector Memory(PVM)以存储历时组合权重,有效控制交易成本并提升训练效率;采用Online Stochastic Batch Learning(OSBL)方案,基于几何分布抽样mini-batch实现在线滚动训练,适应金融市场实时动态
交易成本通过递归公式建模,考虑买卖佣金影响,显著影响实际回报,框架设计有效降低因交易频繁带来的损耗
实验1(加密货币市场):选择市值前11个非现金资产构建组合,训练期间2015-07-01至2017-05-03,测试期至2017-07-01。三网络均显著优于传统算法(包括Best Stock, UCRP等),表现出优越的最终累计组合价值和夏普比率。具体来看,RNN和LSTM表现优于CNN,交易成本降低组合表现但仍保持领先
| 网络 | fAPV | Log Mean | Log Mean Free | Backtest fAPV | 训练时间(s) |
|---|---|---|---|---|---|
| CNN | 8.94 | 0.000789 | 0.00313 | 56.99 | 590 |
| RNN | 25.48 | 0.001166 | 0.00265 | 59.49 | 1203 |
| LSTM | 42.90 | 0.001354 | 0.00286 | 52.49 | 3751 |
实验2(股票市场):选取市值前11股票,同样训练和测试划分,时间段为2017-12-12至2019-12-11。结果显示所有EIIE策略表现与等权重策略(UCRP)相仿且与Best Stock算法(买入持有市场最佳股票)相较差距有限,且Follow-the-Loser类策略表现不佳,表明强化学习未能显著挖掘股票市场的潜在收益或过拟合等权重逻辑
| 网络 | fAPV | Log Mean | Log Mean Free | Backtest fAPV | 训练时间(s) |
|---|---|---|---|---|---|
| CNN | — | 1.0813e+00 (2.83e-5) | 2.85e-5 | 1.079 | 613 |
| LSTM | — | 1.0815e+00 (2.83e-5) | 2.86e-5 | 1.079 | 4629 |
| RNN | — | 1.0816e+00 (2.83e-5) | 2.86e-5 | 1.079 | 1905 |
两个市场的表现差异说明该深度强化学习框架适用于波动性较大或机会丰富的资产市场(如加密货币),在相对成熟且均值回复较弱的股票市场效果有限。强化学习策略逐渐趋于保持均匀配置以降低交易频率,以规避交易成本风险。
投资组合管理数学模型精确定义:价格时间序列离散化,收益率、交易成本递归计算,投资组合权重归一化约束,交易假设零滑点与零市场影响,模型参数和假设令框架能在高流动性市场中稳定使用
实现细节包括:资产选取基于30日均值交易量规避幸存者偏差,数据预处理归一化形成价格张量输入,策略网络映射市场状态和上期组合权重至组合权重输出,reward函数基于对数累计收益最大化,采用确定性策略梯度法优化
公开代码仓库地址:https://github.com/jackieli19/PGPortfolio/tree/Stock ,包含训练、回测完整流程工具,方便复现及改进
报告标题: A Deep Reinforcement Learning Framework for Financial Portfolio Management
作者: Jinyang Li
指导老师: David Saunders
机构: University of Waterloo
日期: 2019年12月
主题: 基于深度强化学习的金融资产组合管理问题
本篇硕士论文主要探讨原始论文《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》中提出的,利用深度强化学习框架解决金融组合管理问题的方法。其核心是提出了一个无金融模型依赖(financial-model-free)的强化学习结构,包含以下关键组成:Ensemble of Identical Independent Evaluators (EIIE) 网络拓扑结构、Portfolio-Vector Memory (PVM)、在线随机批量学习 (Online Stochastic Batch Learning, OSBL) 方案和完全利用且显式的奖励函数。论文实现了三种网络架构:卷积神经网络(CNN)、基础循环神经网络(RNN)、长短时记忆网络(LSTM),并将其表现与多种传统组合选择策略对比验证。该框架在加密货币市场实验中表现优异,收益明显超过传统方法;但当应用于股票市场时,效果不佳,仅表现一般。报告立意在于验证该方法的通用性并评估其优势及局限。,1,7,8]
关键论点:
该研究聚焦于金融资产组合管理问题,核心在于如何根据当前市场信息,动态调整资产配置以最大化期望收益、最小化风险。作者复现并扩展了Jiang等(2017)提出的深度强化学习方法——EIIE网络,强调算法可以直接输出连续的投资权重组合向量,规避了传统离散决策空间强化学习方法适用性不足的问题。EIIE结构由多个参数共享的独立评估器(IIE)组成,每个独立网络负责分析单个资产的历史数据。历史资产权重被储存在PVM中,以纳入交易成本影响。该框架兼容预训练与在线学习(OSBL方案),理论上适用不同市场。,8]
支撑逻辑及假设:
投资组合理论(2.1.1):
该部分介绍两类经典理论:
在线组合选择算法分类(2.1.1, 2.1.2):
报告归纳四大类算法类别:
针对评测对象,选取了代表这几类的典型算法以及三个基准策略(Best Stock, Uniformly Constant Rebalanced Portfolios, Buy And Hold),详见表2.1。
加密货币市场(2.1.2):
介绍加密货币特征及其作为实验市场的合理性。强调比特币作为计价基准,具有最大市值份额(2019年底约占66.6%),便于收集与价格标准化。
强化学习概述(2.1.3):
强化学习作为机器学习中不需标注输出来的学习范式,强调探索与利用平衡,适合于决策问题的解决。区分于监督学习的关键特点是利用环境反馈奖励训练代理(agent)。引入了强化学习中环境(state)、动作(action)、奖励(reward)三要素和时间序列决策过程,图2.1显示了典型框架。
相关工作和局限:
传统股票预测大多基于监督学习,先预测价格或趋势,再用规则决定动作,难以端到端自动化,且预测准确度低。部分强化学习研究侧重单资产交易,难以泛化到多资产组合,且多采用离散动作空间不能直接输出连续资产权重。本文所基于的模型解决了上述限制,直接输出连续组合权重,规避了动作空间离散的风险和限制。,10,11,12,13]
这两点保证数据和市场行为符合模型训练与测试前提,也指导了标的的选择(高交易量资产)。
数学模型(3.2):
交易以相等时间段(例如30分钟)划分,定义资产集,使用资产价格的开高低收4个维度描述市场。价格向量中第一维为现金(比特币),恒定为1。
相对价格向量定义为本周期价格与前周期价格逐元素比值,是组合收益计算的基础。
组合价值按照组合权重和资产回报率计算,采用对数收益以实现累积表现度量,目标是最大化最终组合价值。
交易成本考虑(3.3):
考虑买卖佣金引起的交易成本,定义交易剩余因子μ,反映手续费造成的资产缩水。交易权重在交易前后调整时,模型用递归公式计算μ,详见交易成本公式(3.11)及其证明(附录A),从而调整收益计算公式中实际收益率。
交易权重调整涉及卖出和买入资产的量,手续费对该过程的影响在模型中被精准建模而非简单忽略。这种考虑提高了模型与现实市场的贴合度,避免理论收益与实盘收益偏差过大。,15,16,17,18]
资产选择(4.1):
资产根据交易量排名选择,确保高流动性满足零滑点假设。加密货币选择排名前11的非现金资产,组合总资产数为12(含现金)。股票市场同理。
为减轻幸存者偏差,使用测试期开始前的30天平均交易量进行筛选。
价格张量(4.2):
输入神经网络的数据结构为三维张量(f,n,m),
这套设计保证了模型输入蕴含充分历史信息,体现市场状态变化,并提供前一权重信息辅助减少交易成本与频繁权重切换。强化学习中的奖励信号为周期对数收益率,结合环境状态促进策略训练。,20,21]
环境与Agent(5.1):
Agent为组合管理软件,环境为金融市场(多资产价格及外部因素集合),每一步动作对应新组合权重。状态为价格张量及上一时间点组合权重对。动作由策略生成,动作空间为组合权重向量,元素非负且和为1。
奖励函数:
奖励定义为平均对数累积收益,含佣金和交易成本因子μ,强化学习目标为最大化该奖励。
确定性策略梯度法:
策略函数参数化为θ,应用梯度上升更新参数以优化奖励,采用小批量在线更新方式。
策略网络(5.2):
使用三种神经网络模型近似策略函数:CNN、基本RNN、LSTM。共享的核心创新包括:
图5.1与5.2分别示意CNN与RNN/LSTM实现结构,标明输入层、隐藏层、 portfolio向量和softmax投票机制等关键结构。,23,24,25,26,27,28]
性能度量指标:
实验1:加密货币市场
实验2:股票市场
图表分析:
图6.1显著显示加密货币实验中EIIE模型组合价值呈指数增长远超市场基准。图6.2、6.3表明股票市场的策略曲线平缓,Best Stock表现突出,EIIE与UCRP几乎重合。表6.1、6.3详细罗列训练及回测相关指标,印证文本论述。,30,31,32,33,34,35,36]
研究总结:
论文复现并验证了强学习框架,EIIE结构和PVM、OSBL方案体现了较强适应性和训练效率。加密货币市场实验表现优异,超越大部分传统算法;RNN表现最优且训练时间适中。LSTM性能稍逊,可能因缺乏精细微调。
股票市场局限:
该框架在股票市场表现不佳,趋向于等权重投资,未能学习到有效交易策略,可能与市场特性及资产选择策略有关。均值回归效果不明显,或策略未充分利用市场信息。
未来发展方向:
该章节肯定了该框架的创新贡献,也理性面对了应用中的局限,指明改进方向。,38]
本研究属算法性能和策略表现评估范畴,无传统金融资产估值部分,如DCF、市盈率等定价模型未涉及。因此不适用该部分常规定价分析。
假设风险:
两大核心假设(零滑点、零市场影响)现实中难完全成立,尤其在流动性低或资产规模较大时,执行风险和市场冲击风险明显,可能导致模型表现偏离预期。
数据风险:
加密货币市场数据偏少、波动极大,过拟合风险增加。股票市场数据稳定,但选择基于交易量可能引入幸存者偏差。
模型泛化风险:
强化学习模型可能受训练参数、超参数调优影响显著,尤其LSTM表现不佳可能与超参数调校不足有关。
策略执行风险:
高频调整导致交易成本放大风险,PVM机制虽考虑成本但可能无法完全消除滑点与委托成本。
市场结构风险:
不同市场(加密货币vs股票)风险结构和行为特征差异大,模型移植效果有限。
作者识别部分风险,提议未来研究放宽假设,改进输入特征,多角度调参,以提升稳健性。,37,38]
假设局限性:
零滑点和零市场影响的假设虽然便于建立模型,实际操作中难以保证,特别是在部分低流动性资产或大规模账户操作时,可能导致显著执行偏差。
市场适用性差异表现:
加密市场表现优异但股票市场表现平平,说明模型对市场结构和资产特点敏感。股票市场特征更复杂且更有效率,简单基于价格及交易量的历史数据可能不足以捕捉有效套利信号。
策略学习性质未完全解析:
报告中指出RNN相较LSTM的优势可能源于“历史模式重复性”更强,但未深入分析为何LSTM未展现其司空见惯优势,超参数统一设置可能是原因之一,未来细化网络架构与调参可能挖掘更优表现。
表现过度依赖均值回归假设:
股票市场中,强化学习结果更趋向UCRP,表明该模型可能默认市场存在均值回归,而当市场走势强势或单边行情时,此类策略受限。
实验设计角度:
资产筛选仅依据交易量,忽视资产间相关性、波动率等多维度信息,可能导致组合结构单一,限制模型潜力发挥。
代码和实验公开度高:
附录详细介绍GitHub仓库及操作步骤,提升研究复现性及透明度,这点十分值得肯定。
本文系统复现并验证了Jiang et al.提出的基于深度强化学习的组合管理框架,核心为EIIE网络结构,辅以PVM记忆模块和在线随机批量学习策略。该框架突破传统RL对离散动作空间的限制,输出连续的资产权重向量,合理纳入交易成本,适合在线训练。
加密货币市场实验证明该框架获得了远超市场平均的显著超额收益,并在所有统计指标(fAPV、夏普率、最大回撤)上领先主流传统算法,显示了该方法在高波动、非传统金融资产市场的应用潜能(图6.1,表6.1、6.2),31,32]。
然而,在更成熟且结构复杂的股票市场,该框架的表现大幅缩水,策略学习倾向均匀资产配置,输出组合权重近似均值再平衡策略,与加密货币市场的“魔力”截然不同(图6.2、6.3,表6.3、6.4)。这表明方法对市场特点有较强依赖,且基于价格和交易量的输入数据可能不足以支持股票市场的复杂策略优化。
图表精细剖析强化了文本论断,网络结构(图5.1、5.2)体现了模型创新性,实验数据(表6.1至6.4)及累计财富曲线直观展示效果差异及稳定性。本报告同时指出假设前提及资产筛选简单等不足,建议未来研究拓展数据维度、增强策略灵活性、以及更广泛调参和市场适应性研究,以期发挥深度强化学习在金融资产管理中的更大潜力。
总体来看,作者对深度强化学习在资产管理领域的探索贡献显著,取得了理论与实证上的创新进展,尤其是在加密货币市场。该方法为未来机器学习资产管理模型的设计提供了有益思路,同时也敲响了跨市场应用时需慎重验证和针对优化的警钟。,38,31,33,34]
| 图表编号 | 名称 | 内容描述 | 关键见解 |
|---|---|---|---|
| 图2.1 | 强化学习环境与代理示意 | 显示Agent、环境、动作、奖励和状态的交互 | 体现RL核心机制,为后续策略设计定基调 |
| 表2.1 | 在线组合算法分类 | 统计传统在线组合选择算法分类和算法名称 | 实验中对比基准涵盖全面策略类型 |
| 图5.1 | CNN模型EIIE结构图 | 输入价格张量,卷积特征提取,权重融合 | 参数共享且资产独立处理 |
| 图5.2 | RNN/LSTM模型EIIE结构图 | 时间序列递归处理输入,软max组合输出权重 | 长期依赖捕捉,参数共享设计 |
| 图6.1 | 加密货币市场测试财富增长曲线 | CNN/RNN/LSTM与传统算法收益对比 | 三种EIIE表现显著优异,收益高速增长 |
| 表6.1 | 加密货币不同模型训练及回测结果 | fAPV、Log Mean、训练时间等数值性质 | 交易成本影响显著,RNN训练时间最长表现优 |
| 表6.2 | 加密货币算法绩效比较表 | 各算法MDD,fAPV,夏普率及周期统计 | 强化学习模型优势明显 |
| 图6.2/6.3 | 股票市场组合财富变化曲线 | RL模型与基准Plain、Best Stock表现对比 | RL模型趋均匀权重,Best Stock最佳 |
| 表6.3/6.4 | 股票市场训练及绩效指标 | 数值指标接近均值策略,表现平庸 | 股票市场有效性存疑 |
该论文通过复现并评估深度强化学习架构在两类市场(加密货币和股票)上的表现,创新性提出了多资产连续动作空间决策的EIIE网络结构,完善考虑交易成本与历史权重影响,具备一定的在线学习和扩展能力。加密货币市场证明其有效性,股票市场存在显著局限,提示模型和特征需针对不同市场特征灵活调整。本研究对强化学习在金融资产组合管理中的应用提供了深入的理论与实证贡献,同时也展示该技术从新兴资产向传统市场迁移的挑战,具有较高学术和实务价值。
2409.08426.pdf