本文针对连续状态与动作空间中的Value-at-Risk(VaR)马尔可夫决策过程,建立适用于一般Borel空间的VaR分解定理,并据此构造有限期与无限期动态规划、VaR递归和嵌套VaR递归,证明两种形式等价且能够恢复最优价值与最优策略。 在最优执行应用中,研究发现动态策略能够根据价格创新和风险水平调整交易行为;当永久冲击与临时冲击满足特定关系时,问题可转化为带阈值规则的最优停止问题,动态策略在较大风险水平下严格优于静态策略。 数值实验进一步表明,动态策略在不同参数设定下均取得更高VaR,基准情形下最大改进为0.37%,在高波动与较低临时冲击参数组合下最高改进达到1.93%。
这不是一份针对上市公司的传统券商研究报告,因此没有股票评级、目标价、盈利预测或投资建议。报告的核心论点是:过去关于VaR型MDP的动态规划结果主要限于有限状态、有限动作空间,而本文首次将VaR分解和Bellman递推扩展到一般Borel空间,包括连续状态和连续动作环境,并证明有限期和无限期问题都可以通过增加“风险水平”这一状态变量来恢复动态规划结构。,
论文进一步声称,该框架不仅是理论上的存在性结果,而且能够解决连续状态下的动态最优执行问题。特别是在线性永久市场冲击和临时市场冲击的设定下,作者识别出两个参数区域:当永久冲击相对较强时,动态执行问题可化为最优停止问题;当永久冲击相对较弱时,则通过递归方程和数值方法求解动态策略。,
本文采用的VaR定义本质上是收益分布的分位数:在风险水平α下,VaR是满足“收益低于该阈值的概率不超过α”的最大阈值。对于收益最大化问题,较低的α通常对应更保守的下分位收益,而较高的α则对应更靠近分布上端的分位数;作者还约定α=1时VaR为正无穷。
VaR在实践中广泛使用,并曾被纳入巴塞尔资本监管框架。作者同时承认VaR具有明显局限,包括不满足次可加性、因而通常不属于凸风险度量,以及无法反映超过分位点之后极端尾部损失的严重程度。不过,VaR也具备共单调可加性、可诱导性,并且对弱拓扑和Wasserstein距离具有稳健性,因此在回测和统计分析方面存在实践优势。
这构成了本文的研究动机:VaR虽然不具备CVaR等一致风险度量的全部理论性质,但在实际决策中仍被广泛使用;如果VaR作为目标函数,传统依赖期望值塔式性质的动态规划就不再直接适用。,
此前的VaR MDP研究已经在有限状态空间中发展出几种方法,包括利用VaR分解增加风险水平状态、递归更新风险水平、构造nested-VaR形式,以及通过概率最小化或Q-learning求解。但是,这些成果都没有解决一般连续状态和动作空间中的理论问题,而金融价格、库存、资产持仓等变量天然往往是连续的。
论文指出,静态风险度量直接作用于累计收益时通常会产生时间不一致性。所谓时间不一致,是指今天看来最优的计划,在未来信息实现后可能不再被未来决策者认为最优;期望和指数风险度量具有相对良好的递归性质,而VaR一般不具备这种简单的塔式性质。作者的解决方法是把风险水平α加入状态变量,使原问题转化为一个扩展状态空间上的动态规划问题,从而恢复Bellman递推关系。
论文使用一般Borel空间描述状态空间X和动作空间A。每个状态x对应一个非空可行动作集合A(x),系统通过转移核Q(·|x,a)从当前状态转移到下一状态,并产生单期奖励r_t(x,a)。策略既可以是依赖完整历史的随机策略,也可以是确定性策略或Markov策略。,
这一设定的重要性在于,它既包含有限或可数空间,也包含欧氏空间中的连续状态和连续动作。作者通过Ionescu–Tulcea定理构造给定初始分布和策略下的完整路径概率测度,从而严格定义有限期和无限期累计奖励。
有限期目标包括从当前时点到终端的折现奖励以及终端奖励g;无限期目标则假定奖励时间齐次,并使用折现因子γ∈(0,1)。论文的目标不是寻找某一个固定策略的VaR,而是对所有可行策略取最大值,并证明该最大值可以由动态规划递归得到。,
全文最核心的理论工具是第三节的VaR分解定理。设X是最终随机收益,Y是某个中间状态或信息变量。作者证明,整体VaR可以表示为:先在每个条件状态Y=y下计算条件VaR,再选择一个满足平均风险预算约束的条件风险水平函数ζ(y),最后对各状态条件VaR取最小值并对ζ进行最大化。,
直观地说,整体风险水平α被分配到不同的后续状态中。某些状态可能获得较高的局部风险水平,另一些状态则必须采用较低的局部风险水平,唯一要求是这些局部水平在状态分布下的平均“低于阈值概率”不超过α。这正是动态规划中“风险水平随状态转移而更新”的数学来源。,
定理还给出了最优风险水平的具体形式:在内部风险水平α∈(0,1)下,可以选择条件事件“X低于整体VaR”的条件概率作为ζ_α(y)。这说明后续风险预算不是任意调整,而是与当前最优分位点以下的条件概率相联系。
该定理的技术价值在于,它不要求结果空间是有限离散集合,而是适用于标准Borel空间。作者利用正则条件概率、支配测度和支持集等工具处理连续状态情形,并特别讨论了α=0和整体VaR为负无穷等边界情况。,
作者随后引入一个独立均匀随机变量U∼Unif[0,1],利用分位数函数将随机变量表示为ψ(Y,U)。这一步把复杂的条件风险水平更新转化为一个均匀随机风险水平的递归表达。,
由此得到两种等价的动态规划形式:
nested-VaR形式的优势在于表达更接近标准的随机动态规划,也为Q-learning等算法提供了接口;但它并不改变原始静态累计收益VaR目标,作者强调它只是等价的计算和表示形式。,
有限期问题的关键操作是把原状态x扩展为((x,\alpha)),其中α表示当前累计风险预算。作者定义扩展状态空间为(\hat X=X\times[0,1]),并在该空间上进行Bellman递推。
在终端时点,价值函数由终端奖励g决定;在倒推阶段,每个动作都会带来即时奖励,并通过转移核Q产生下一状态X′。下一状态对应的风险水平不是固定等于当前α,而是由VaR分解定理决定的最优函数。,
作者提出一组标准但较强的正则条件:
在这些条件下,Bellman算子能够保持上半连续性,动作最大化可以通过可测选择定理实现,因而存在一个可测的最优动作选择器。,
定理4.4证明了三件事:第一,直接定义的VaR价值函数等于VaR Bellman递推的解;第二,它也等于nested-VaR递推的解;第三,两种递推均能恢复原始有限期VaR MDP的最优目标值。,
最优策略在扩展状态空间上是Markov的,即动作只依赖于当前状态和当前风险水平;但映射回原始状态空间之后,它通常是历史依赖的,因为当前风险水平本身由此前的状态转移和风险预算更新共同决定。, 这与CVaR问题中常见的累计奖励扩展状态不同:VaR的风险水平一般没有简单闭式表达式,需要通过递归寻找满足条件的最小或最优风险水平。
当α=0时,VaR退化为本质下确界,风险水平更新不再复杂,作者证明此时可以得到原始状态空间上的确定性Markov最优策略。
无限期部分假定奖励函数时间齐次、有界且上半连续,折现因子γ∈(0,1)。作者在扩展空间上构造函数类:价值函数在α<1时统一有界、关于α单调不减且右连续,并在α=1时取正无穷。,
在带权或一致距离下,Bellman算子B满足:
[ d(Bu,Bv)\leq \gamma d(u,v). ]
由于γ<1,B是压缩映射,因此由Banach不动点定理存在唯一固定点w*。有限期价值函数反复迭代会收敛到该固定点。,
这一结果同时给出理论和计算含义:可以从零价值函数开始,通过有限期递推逐步迭代;随着截断期限T增加,得到的价值函数收敛到无限期最优VaR值。,
由于单期奖励绝对值不超过(\bar r),忽略T期之后的尾部累计奖励,其误差上界为:
[ \epsilon_T=\frac{\gamma^T\bar r}{1-\gamma}. ]
因此有限期近似与无限期目标之间的差距随T指数衰减。, 这为实际数值算法提供了误差控制依据,但也明确依赖奖励有界;作者在结论中把“如何允许无界奖励”列为未来研究方向。
无限期最优策略的构造与有限期类似:先在扩展状态上选择固定点w*的贪婪动作,再根据状态转移递归更新风险水平。作者证明,该策略在原始历史空间中是可行的,并且能够达到无限期最优VaR值。,
应用部分研究初始持有(\bar x)股资产的交易者,计划在N个离散阶段内完全清仓。x_k表示剩余库存,n_k表示第k阶段卖出的股份,终端约束为x_N=0。资产价格按照带永久市场冲击的算术随机游走演化,交易量越大,后续价格受到的永久压低越明显;临时市场冲击只影响当前成交价格,不影响未来价格。
永久冲击设为(g(v)=\kappa v),临时冲击设为(h(v)=\epsilon+\eta v),其中交易速率为v=n_k/τ,τ=T/N。总执行收入是各阶段卖出数量乘以有效执行价格之和。
Table 1标题为“三阶段执行模型中的价格与股份演化”,其作用是用一个三期路径展示每个阶段的顺序:先按受临时冲击影响的价格卖出,再观察随机价格变化,最后进入下一阶段并更新剩余库存。, 所提供文本中没有实际呈现表格的逐行数值,因此无法核对每一个价格和库存单元格;但从正文描述可以确定,该表主要用于解释状态变量、动作变量、成交价格和下一期价格之间的时序关系,而不是用于报告统计估计。
静态策略要求所有n_1,…,n_N在执行开始前确定。作者将总利润分解为确定性部分A(n)和由价格随机波动产生的风险项,并定义参数:
[ p=\kappa-\frac{2\eta}{\tau}. ]
该参数比较永久冲击和临时冲击的相对强度,是全文应用分析的分界线。
当p<0时,确定性部分关于交易量具有凹性;风险项在α<1/2时为凹,在α>1/2时为凸,因此一般不存在简单闭式解。α=1/2时风险项消失,等量交易(n_k=\bar x/N)成为最优静态策略。
当p≥0时,作者证明静态最优解退化为一次性清仓:
这一结果体现了收益VaR目标的非对称性:较低分位数关注避免价格下跌,因此偏好尽早完成交易;较高分位数则愿意等待潜在上涨,但也会承担更大的路径风险。,
当p≥0时,作者发现每一阶段的交易决策在“立即清仓”和“完全等待”两个边界之间选择,内部交易量不是最优。因此动态问题转化为最优停止问题:在观察到价格路径后,决定何时清仓。,
如果当前风险水平θ>0.5,最优策略在早期阶段等待;否则立即出售全部剩余库存。随着价格创新和风险水平更新,决策阈值会发生变化。
作者进一步证明,最优动态策略可以简化成一个阈值规则:计算累计价格创新何时首次达到阈值b,达到后立即清仓;如果直到倒数第二阶段仍未达到,则在最后阶段清仓。最优阈值为(b=B_1(\alpha)),并且:
[ B_1(\alpha)=VaR_\alpha[M_{N-1}], ]
其中(M_{N-1})是前N−1期累计价格创新的最大值。,
这个结论非常重要,因为它消除了实际执行时逐阶段显式更新风险水平的需要。交易者只需持续监控累计价格创新是否达到预定阈值,即可实施理论最优动态策略。
当p<0时,阶段目标函数关于交易量为凹函数,因此最优交易量可能是0、全部库存x,或者位于二者之间的内部值。作者给出了由风险水平θ、库存x、波动率σ、时间间隔τ决定的分段最优交易量表达式。
此时不再能将问题简化为单一阈值停止规则,而必须从最后阶段向前递推价值函数、风险分布和下一期风险水平。实际计算中,作者采用库存网格和风险水平网格,用Gauss–Legendre求积近似积分,再用Brent方法求解分位点,并在可行库存网格上进行最大化。,
Figure 6.1左图横轴是阶段数N,纵轴是临界风险水平α₀(N)。曲线从N=2时的0.5快速下降,随后逐渐趋缓;N=33附近已经低于0.1,N=100时约为0.0566。
这说明执行频率越高,动态策略获得严格优势所需的风险水平门槛越低。换言之,在较长执行期限内,即使投资者只关注相对保守的低分位收益,观察价格路径并动态决定清仓时机也可能优于预先固定的静态计划。
右图展示归一化VaR改善(\Delta_N(\alpha)),横轴是α,纵轴是动态策略相对静态策略的标准化提升。各条曲线均表现出相似形状:在α低于α₀(N)时改善为零,随后上升,在α=0.5附近达到峰值,再随着α接近1而下降。
不同N的曲线表明,较大的执行阶段数通常带来更大的动态优势,但增量收益递减。图中N=100的峰值高于N=33、10、5和3,但从33增加到100的额外提升已经有限。这一图形与理论命题一致:N=2时静态和动态策略等价;N≥3时,在α>α₀(N)的范围内动态策略严格优于静态策略。
作者采用1000个Gauss–Legendre节点进行计算,并以100个节点重复测试。N=3、5、10、33时最大绝对差低于10^-10,N=100时低于1.6×10^-3,说明在较短和中等期限下数值积分较稳定,但长期限的误差敏感性有所上升。
Figure 6.2包含8个子图,横轴为风险水平α,纵轴为经验VaR;红色表示静态策略,蓝色表示动态策略,误差棒表示95% bootstrap置信区间。,
所有子图中蓝色动态策略曲线均位于红色静态策略曲线之上,说明在作者测试的参数范围内,动态策略的经验VaR始终更高。优势在α接近0.5时通常最明显,而在非常低或非常高的α附近相对减弱。
图中还比较了N=3和N=5、σ=0.95和2.0、η=2.5×10^-6和1.25×10^-6等参数组合。基准情形下动态策略最大提升为0.37%;N从5改为3时提升降至0.24%;提高波动率σ至2.0时提升升至1.31%;调整η后提升为0.62%;当(N,σ,η)=(5,2.0,1.25×10^-6)时最大提升达到1.93%。
图表还显示,α较小时,增加N会降低静态和动态策略的绝对VaR,因为交易次数增加会使临时执行价格承受更多冲击;在α较大时,其他收益项对这一不利影响具有部分抵消作用。因此,更多交易阶段并不自动意味着更高的VaR收益,执行频率需要与临时冲击、波动率和交易成本共同权衡。
需要注意的是,Figure 6.2基于每种配置1000条模拟路径,图上的置信区间体现了蒙特卡洛误差,而不是理论策略本身的不确定性。作者报告N=3时将库存网格从100、1000增加到10000个区间,估计VaR最大差异低于2000,表明离散化误差在其尺度下相对可控,但仍会带来额外计算成本。
本文不存在传统金融研究中的DCF、P/E、EV/EBITDA、目标价或可比公司估值。其“价值”主要是数学意义上的最优VaR目标值,即在所有可行策略中最大化收益分位数。
如果把动态策略的改进理解为经济价值,Regime 1的理论结果表明动态策略相对静态策略的提升可写成与(\sigma\bar x)及归一化增益(\Delta_N(\alpha))相关的项;Regime 2则通过数值模拟估计收益改善。但是,报告没有把这些改善转化为股票价格、投资回报率或资本回报率,因此不能将其直接解释为投资评级或交易建议。,
VaR本身的风险度量缺陷。 VaR不满足次可加性,也不反映分位点以外的极端尾部损失,因此基于VaR最优的策略未必在极端压力情景下表现最好。
理论条件较强。 有限期结果依赖动作集合紧性、奖励上半连续和转移核弱连续等条件;无限期结果还要求奖励有界。真实金融市场中的价格、库存和交易约束可能不满足这些条件。,
无限期无界奖励尚未解决。 作者明确把允许无界奖励的无限期理论列为未来研究方向,说明当前结果在这一方面仍有限制。
数值计算成本。 Regime 2需要在库存、风险水平和动作空间上进行网格化,并重复执行求积、根搜索和最大化;当库存维度、执行阶段数或状态变量增加时,计算复杂度可能迅速上升。,
动态优势的绝对幅度有限。 虽然论文多次强调动态策略的优势,但Regime 2基准案例的最大改善只有0.37%,即使在高波动、低临时冲击组合下也为1.93%。这些结果说明方法具有统计和理论意义,但其经济意义会依赖交易规模、手续费、滑点和执行约束。
模拟样本量有限。 Figure 6.2使用1000条路径并通过bootstrap构造置信区间,适合展示方法可行性,但不足以覆盖极端尾部概率下的精确估计问题,尤其VaR本身对分位数估计误差较敏感。,
从理论贡献看,论文最重要的成果不是提出某一个特定交易策略,而是建立了一个可推广的VaR动态规划基础:通过一般Borel空间上的VaR分解,将静态累计收益的VaR目标转化为带风险水平状态的递归优化问题,并证明VaR形式与nested-VaR形式在有限期和无限期情形下等价。, ,
从应用结果看,Regime 1给出了非常清晰的结构:动态执行可以化为观察累计价格创新的阈值停止问题,阈值由最大累计价格过程的VaR决定;Figure 6.1进一步说明,执行阶段越多,动态优势覆盖的风险水平范围越广,但边际改善递减。, Regime 2则证明,即使不存在简单阈值形式,网格、求积和根搜索结合的数值程序仍然可以求解动态策略;Figure 6.2显示动态策略在所测试参数下均优于静态策略,但优势幅度从0.24%到1.93%不等,且高度依赖波动率、临时冲击和执行阶段数。,
总体而言,作者持明确的正面判断:连续空间中的VaR MDP动态规划是可行的,理论上能够保证最优性,实际中能够产生优于静态基准的动态执行策略。, 但这一判断应理解为在特定正则条件、线性市场冲击、有限期离散交易和给定数值精度下成立;它尚未等同于VaR优于CVaR,也没有证明动态策略在所有市场环境或极端尾部风险下都具有稳定优势。,
2610.24439.pdf