本文提出一种面向连续时间随机最优控制的分层深度策略梯度方法,通过在不同时间尺度动态配置时间离散粒度、样本轨迹数量和神经网络复杂度,避免全区间直接采用细网格,从而降低训练成本并保持较高精度。方法利用轨迹分布变化与价值函数差异识别需要细化的区间,并通过价值函数代理网络逐级训练细粒度策略;理论结果给出了相对暴力式PGM实现任意加速比的资源配置条件。在线性二次随机控制和随机价格冲击下的最优执行实验中,该方法在接近基准精度的同时显著提升运行效率。
报告标题:《A hierarchical resource-efficient deep policy gradient method for continuous-time optimal control problems》(连续时间最优控制问题的分层资源高效深度策略梯度方法)。
作者:Arash Fahim 与 Md. Arafatur Rahman。
机构:Florida State University 数学系,以及 Citibank N.A.纽约内部审计—模型风险部门。
日期:2026年8月11日。
研究主题:连续时间随机最优控制、深度策略梯度方法(Policy Gradient Method,PGM)、时间离散化、神经网络资源配置,以及量化金融中的最优执行问题。
报告的核心论点是:在连续时间控制问题中,直接采用全局细时间网格进行深度PGM,虽然可能提高离散化精度,但会显著增加样本轨迹数量、反向传播计算量、内存占用和训练时间;因此,与其在整个时间区间采用同样精细的网格,不如先进行粗网格训练,再依据轨迹分布和价值函数变化识别最需要精化的局部区间,只在这些区间进行细化训练。
本文没有传统金融研究报告中的股票评级、目标价或盈利预测,其“结论”不是投资评级,而是数值算法层面的效率判断:作者认为,分层PGM在保持与全局细网格“暴力式”PGM相近精度的同时,可以显著降低计算成本;这一判断通过理论复杂度分析以及线性二次随机控制、最优执行两个实验予以支持。
研究对象是由随机微分方程描述的连续时间状态过程。状态变量受到漂移项、扩散项和控制策略共同影响,目标是在所有可行控制策略中最小化运行成本与终端成本之和。
由于连续时间问题难以直接进行神经网络优化,作者首先使用时间步长 (\delta=T/n) 将时间区间划分为 (n) 个网格,并采用Euler–Maruyama方法模拟状态过程。控制策略被限制为在每个时间小区间内保持常数,因此连续时间控制问题被转化为离散时间随机控制问题。
这一处理带来两类误差。第一类是时间积分和状态过程的离散化误差;第二类是神经网络策略不能覆盖所有可行控制策略所造成的函数逼近误差。附录中的理论结果在一定有界性、Lipschitz连续性和控制集紧性假设下,给出离散时间价值函数与连续时间价值函数之间的误差界,主要量级为时间步长的平方根或四分之一次方级别,具体取决于对控制策略分段常数逼近和Euler离散化的组合方式。
需要注意的是,附录假设控制值域紧、系数有界,但线性二次问题通常具有无界控制和状态变量,成本函数还可能具有二次增长。作者承认这些条件并不直接适用于实验中的LQSC模型,并提出可以通过控制饱和、状态空间截断及最优轨迹矩估计进行局部化处理,但相关技术细节被省略。 这意味着理论误差界与实验模型之间存在一个需要谨慎看待的适用性衔接。
PGM将控制策略表示为一个输入为时间和状态、输出为控制动作的前馈神经网络:
[ \pi(t,x;\theta), ]
其中 (\theta) 是网络权重与偏置。通过模拟多条Brownian运动路径和对应的状态轨迹,将期望成本替换为经验平均成本,再使用梯度下降优化神经网络参数。
该方法的一个重要设计是使用单个神经网络同时接收时间与状态,而不是为每一个时间点分别设置一个网络。后者虽然能够逐时间步训练,但当时间步数量很大时会造成显著的内存需求,并且时间泛化能力较弱;单网络方案则试图利用时间变量进行策略插值和泛化。
PGM与强化学习中的探索性策略梯度并不完全相同。本文研究的是普通最优控制,控制通常不需要显式随机化,因此不能直接依赖熵正则化带来的凸性。除非控制问题本身具有凸结构,否则神经网络优化通常是非凸的,理论上不能简单保证收敛到全局最优。 这也是本文数值实验中出现训练发散、需要多次独立运行并剔除失败运行的重要背景。
作者提出的深度分层PGM大致包括以下流程:
这里的关键并非简单地“减少时间步”,而是将时间步集中配置在问题最复杂、状态变化最快或价值函数最不平稳的区域。粗策略提供全局近似,细策略则负责纠正局部离散化误差。
作者使用两个主要指标判断粗网格是否足以描述某一时间区间:
如果这两个指标较大,说明状态轨迹分布发生明显变化,或者价值函数在该区间内变化迅速,粗时间步可能无法准确捕捉局部动态,因此应当进行细化。作者也特别说明,这两个指标只是示例,实际可以采用其他误差估计或区间选择准则。
该设计的优点是具有一定自适应性,不要求研究者事先精确知道哪些区间最困难。但其局限也很明显:指标依赖于已经训练好的粗策略、有限样本训练域以及价值函数代理网络。如果粗模型本身有偏,区间筛选也可能将计算资源配置到错误位置。
分层方法需要在局部细区间上使用价值函数作为终端成本,因此作者额外训练了价值函数代理网络 (\chi(t,x;\rho))。价值函数被解释为从某个时间和状态出发,在最优策略下未来成本的条件期望,并通过样本轨迹成本进行回归拟合。
这使得方法不再只有一个策略网络,而是至少包括粗策略网络、粗价值函数网络和细策略网络。换言之,分层PGM节约了长时间细网格反向传播的成本,但增加了价值函数估计、训练域扩展和多阶段模型管理的复杂度。
对全局细网格PGM而言,每条轨迹都需要在所有时间步上进行反向传播。若时间步数为 (n)、样本轨迹数为 (M),单步计算复杂度为 (\bar C),则总成本近似为:
[ nM\bar C, ]
并且还要乘以梯度下降的epoch数量。
分层PGM将成本拆分为不同阶段。粗阶段成本近似为 (c_1N_1M_1),其中 (N_1) 是粗时间步数,(M_1) 是粗阶段样本量;细化阶段只覆盖被选中的区间,因此成本与“被精化区间比例”“细阶段样本数”“细网络复杂度”共同决定。
Theorem 3.1给出的核心结论是:只要合理选择每一层的样本数 (M_k)、被精化区间比例 (I_k) 和网络反向传播成本 (c_k),就能达到相对于全局细网格PGM的预定加速倍数 (\gamma)。该定理是一个充分条件,而不是说明任何自适应策略都必然实现加速。
两个示例具有代表性:
理论值与实验值存在差异并不奇怪,因为理论模型对不同阶段网络成本进行了简化,并未完整计入数据生成、价值函数拟合、初始化、收敛速度和异常运行等因素。
图1展示了LQSC问题、粗模型、一折分层模型及暴力基准模型的参数配置。粗模型使用10个时间步、100条训练轨迹;细阶段使用50条轨迹,并对区间[0,0.1]、[0.1,0.2]和[0.2,0.3]进行细化;暴力基准使用100个时间步和100条轨迹。
图2显示前3个时间区间的Hausdorff距离和价值函数均方差明显高于其他区间,尤其是[0,0.1]区间的差异最大,随后迅速下降。这支持作者选择前3个区间进行细化的决定。
图3是21次独立运行的训练时间箱线图。分层方法总时间主要集中在约13至14秒区间,而暴力基准大约在56至60秒附近,且基准存在一次401.23秒的极端异常运行,该运行被排除在统计和箱线图之外。
图4比较了不同初始状态下的成本误差。粗模型误差明显高于细化模型;一折分层模型与暴力基准的误差整体接近,说明局部细化基本恢复了全局细网格的精度。
图7将参数设为 (a=100),显著增强时间变化,并使用5个粗时间步、125个暴力基准时间步。第二阶段选择[0,0.2]和[0.8,1.0],第三阶段继续细化这些区间的前部子区间。
图5表明[0,0.2]的轨迹分布变化和价值函数变化最大,同时[0.8,1.0]的价值函数差异也重新上升,因此作者选择时间区间两端进行重点细化。
图6进一步显示,在已选中的区间内部,最初的子区间变化最大,支持第三阶段继续局部细化。
图8显示两折分层方法的成本误差总体与暴力基准相当,而粗模型误差更大,说明增加一层局部细化能够进一步弥补粗离散化误差。
图9和表2共同反映运行效率。两折分层PGM的运行时间箱体约在13至14秒附近,暴力基准则约在72至73秒附近,报告据此给出约5.2倍的效率提升。
最优执行模型包含四个状态变量:价格冲击、价格恢复速度、暂时性价格冲击和剩余库存。价格冲击和恢复速度采用OU过程,且价格冲击可能为负,因此作者设置了正的下界以避免成本函数因凹性而失去良好定义。
图10列出了实验参数,包括初始库存 (10^3)、时间步配置、训练轨迹数量和神经网络规模。分层模型在粗阶段使用200条轨迹,在细阶段使用区间级轨迹;暴力基准使用600条轨迹和100个时间步。
图11揭示了价值函数代理训练的核心困难。左图中的轨迹点集中在一个近似三维流形上,(D)和(R)高度相关,导致四维状态空间中的训练域退化;右图通过扩展到矩形区域增加了非共线样本,从而改善价值函数在流形外的泛化能力。
图12显示[0,0.1]和[0.1,0.2]具有最大的Hausdorff距离和价值函数差异,[0.9,1.0]附近价值函数差异再次升高,因此作者选择两端区间,并额外加入中部[0.4,0.5],以改善细策略在整个时间区间内的插值泛化。
表3比较了分层方法与暴力基准的平均总成本、最终剩余库存及其标准差;正文结论是两者具有可比性。报告给出的相对差异统计为最小3.6906%、最大2.8151%,这两个数字在排序上存在明显疑点,可能是原文记录或排版错误,应在代码或原始表格中核验。
表4和图13比较运行时间。分层方法的中位运行时间明显低于暴力基准,但暴力基准存在约700秒和接近1000秒的异常高值;同时,作者说明在20次收敛运行中有4次暴力基准反而更快,因此效率优势并非每次运行都成立。
主要风险包括:
总体上,报告对方法效率的论证较有说服力,但实验仍主要集中于一个有闭式解的LQSC问题和一个四维最优执行问题;因此尚不能据此断言该方法在更高维、强非线性、强非平稳控制问题上必然稳定有效。
本文提出的实质性贡献,是将连续时间最优控制的计算资源配置从“全局统一细化”转变为“先粗后细、按需局部细化”。Hausdorff距离和价值函数均方差提供了识别困难时间区间的机制;动态规划原理则使粗阶段价值函数能够连接局部细阶段训练。
图表证据显示,在LQSC实验中,分层方法的精度接近全局细网格基准,而运行时间分别获得约4.2倍和5.2倍的经验加速。 在最优执行实验中,分层方法的平均成本和最终库存与基准相当,运行时间通常较低,但存在训练失败、异常运行和个别基准更快等现象。
因此,作者的总体判断是:当成本函数或状态动态随时间显著变化、且全局细时间离散化代价过高时,深度分层PGM具有明确的效率优势;但该优势依赖合理的区间筛选、价值函数代理质量、样本分配、网络结构选择和训练稳定性,不能视为无条件成立的普适加速定理。
2502.14141.pdf