本论文针对利用强化学习进行投资组合优化中的状态归一化问题,比较了三种归一化方法在不同市场(IBOVESPA、NYSE和加密货币)上的表现。研究发现,相较于传统的状态归一化,先对数据进行归一化再训练的方式能更好地保留资产真实价值信息,显著提升了agent的收益表现和稳定性,且市场波动越大该方法优势越明显。结果同时揭示了状态归一化易导致agent过拟合和模型性能波动较大的缺陷,为后续基于RL的量化投资研究提供了重要参考 。
Comparing Normalization Methods for Portfolio Optimization with Reinforcement Learning
(《基于强化学习的投资组合优化中归一化方法的比较研究》)
作者及机构
主题
本报告聚焦于强化学习(Reinforcement Learning, RL)在金融领域投资组合优化中的关键预处理步骤——归一化方法,分析不同归一化技术对强化学习投资组合优化算法性能的影响。
核心论点
近年来,强化学习在金融投资组合优化上有颇多应用和进步,特别是使用专门的策略梯度算法对加密货币市场表现优异。然而,该方法在股票市场表现不稳定。这种差异的一个可能原因是常用的状态归一化方法可能导致智能体丢失资产真实价格信号,进而影响性能。报告通过对比“状态归一化”和“数据归一化”两类方法,在不同市场(IBOVESPA巴西股市、NYSE美国股市与加密货币市场)中测试,发现状态归一化确实可能降低性能,且数据归一化在波动性更大的市场效果更优。,1]
投资组合优化旨在基于市场动态调节资产权重,以最大化利润。传统的机器学习预测方法受手续费等市场真实因素影响较大,而强化学习通过奖赏机制直接优化未来回报,更贴合实际交易。
早期关键贡献是[6]提出使用卷积神经网络(EIIE架构)结合专门设计的策略梯度算法,在加密货币投资组合管理中超越多种经典策略。后续研究则在网络架构上持续创新(如多尺度卷积EI³、图神经网络DeepPocket、Transformer架构等),推动性能提升。
遗憾的是,虽该方法在加密货币市场表现优良,但在股票市场性能明显逊色,怀疑归一化方式导致了效果分化。报告指出状态数据归一化尚未被充分研究,其潜在负面影响是本文研究的切入点。
定义了投资组合权重向量 (\vec{W}_t \in \mathbb{R}^{n+1}),其中第0元素为留存现金,其他元素为各资产的投资比例。满足权重非负且和为1。
价格向量 (\vec{P}t) 第0个元素为1(现金价格基准),其他为资产相对价格变动。资产价格变化推导投资组合价值转移公式,考虑交易成本 (\mu{t+1}),最终目标是寻得在整个时间区间 (T) 内使终值最大化的权重序列。初始时全部资金为现金。
这些假设中,资产可即时交易且不影响市场,适用于高流动性小规模投资组合。
强化学习包括状态 (S_t)、动作 (A_t)、奖励 (R_t)、策略 (\pi) 四个核心要素,智能体基于状态采取行动,通过正向奖励强化有效策略。
强化学习对连续高维空间广泛适用,使用神经网络可逼近最佳策略。
PG算法依据批次经验更新策略参数,优化的目标函数直接对应利润最大化。其优点是:基于固定历史价格,实现快速批次训练,支持在线训练更新,适合实际生产环境下持续学习。,2]
因资产价格尺度差异极大,归一化对神经网络学习至关重要。报告区别了两大类:
基于[21],将状态中价格通过最近收盘价或最近价格做除法处理,简化成相对价格变化率。优点是与利润相关的目标函数契合,但缺点也很明显:丢失了资产绝对价值信息,使智能体难以识别资产是否被低估或高估。图4形象说明,波动率相同但绝对价格不同的两只股票在归一化后表现一致,损失关键信息。
指的是先对整个时间序列独立归一化(例如除以最大绝对值),然后再用于训练。这保留了资产的绝对价格信息,可以辅助智能体识别资产估值水平。缺点是价格在测试集可能超出训练范围(超过1),导致策略执行异常,但可通过在线学习动态适应缓解。
构建了三个分别代表不同市场波动性的投资组合:
历史数据分别从Yahoo Finance和Kaggle获得,均包含日频收盘、最高、最低价。
超参数详见表I,包含学习率0.00005、时间窗口50步、交易手续费0.25%、初始金额10万单位币种等。
三个归一化方法分别进行了50轮训练测试。股票市场测试期选为2020年整年(COVID-19市场剧烈波动),加密货币市场测试为2023年。
使用三项指标评价:终值累计回报(FAPV)、最大回撤(MDD,越小越稳健)、夏普比率(SR,衡量风险调整后收益)。,4]
表II显示数据归一化法在FAPV和SR上表现最佳,终值回报平均1.19且夏普率0.033,显示收益与风险调整表现较优。状态归一化按最后收盘价效果最差(FAPV < 1),导致整体亏损。按最后价格归一化表现中等,但不稳定,部分训练可获2倍回报。分布图5强化了数据归一化更稳定且更可能产生好策略的观察。
MDD三法差异不大,最后价格归一化略优,显示略微更低风险。,5]
由于市场更波动,差异更明显,表III显示数据归一化明显提升FAPV(1.79),且夏普指标最高(0.069),但MDD也最大(0.7),表明更高回报伴随更大风险。状态归一化中两方法表现相较美国市场有所互换,最后收盘价归一化表现更分散。此现象表明状态归一化策略效果受市场特性影响较大,需要针对市场调试。
表IV和图7显示数据归一化方法优势极为显著,FAPV近1.78远超状态归一化(均不足0.8),且夏普比率为正(0.059),表明该策略在高波动市场表现出较好收益与风险平衡。两种状态归一化相近且均产生亏损。
报告指出加密货币市场与[6]原论文实验不一致的可能原因:资产组合不同,数据频率(日频vs30分钟),训练测试区间不同(较新市场相对平静),均可能导致性能差异,提示模型及参数需针对具体市场调优,泛化能力有限。,6]
最大FAPV(表V)显示无单方法在所有市场都完胜,需多维度权衡选择。,7]
描述RL智能体与环境交互流程:智能体根据观察选择动作,环境反馈奖励和下一观察。该流程图清晰说明RL核心机制,实现了本研究的操作框架。
三维堆叠的时间序列矩阵,分维度为资产特征数量f,资产数量n,时间长度t。形象说明了智能体输入的复杂结构,有助理解输入数据的多维性质。
展示如何使用收盘价、最高价、最低价叠加构造状态张量。强调归一化方法基于这些价格数据进行,支持后续归一化策略比较。
曲线显示两只绝对价格不同但相对波动一致股票被状态归一化为梯度相同,智能体无法区分实际估值。该图直观表明状态归一化固有的缺陷。
包括学习率、批量大小、样本偏置概率、训练步数等,保证实验复现性与严谨性,体现参数统一管理的重要性。
整合50次跑平均值±标准差,对比三种归一化方法的FAPV、MDD、SR,展示方法各方面表现的稳定性与差异,凸显数据归一化的优势与局限。
直观展示各归一化方法性能的频率分布,印证数据归一化稳定且平均表现优异,而状态归一化结果高度分散且有失败风险。
特别是图7说明在加密货币市场状态归一化完全不利,可见归一化方法对不同市场表现的显著影响。,6]
通过Tensorboard日志曲线,揭示状态归一化下,训练过程中策略测试绩效持续恶化,主因过拟合训练集,验证了前述分析。
本报告非传统金融估值报告,而是算法性能评估。估值当作强化学习收益指标:FAPV代表最终投资组合价值倍数,MDD反映风险控制,SR为风险调整收益表现。各模型策略通过这三个指标被综合评估,并无直接现金流贴现等传统估值方法。
主要风险体现在:
该报告通过系统实验验证,投资组合强化学习中输入数据的归一化方法选择至关重要。结论强调:
报告为基于强化学习的投资组合优化领域,特别是在金融时间序列处理的预处理环节提供深刻洞见,为后续算法设计、数据处理和市场选择提供了实际意义的指导。
文献丰富,涵盖了强化学习基础、金融机器学习、最新深度网络架构、领域应用及评价指标,确保学术严谨度及技术前沿性。
综上,报告不仅详细剖析了三种归一化方法的算法影响机理,也通过多市场多次实验验证了其对实验结果的决定性作用,凸显了金融强化学习研究中文本数据预处理的重要价值。
2508.03910.pdf