本论文提出基于Proximal Policy Optimization(PPO)算法的强化学习市场做市商模型,结合非平稳随机过程精确模拟限价订单簿动态,涵盖订单抵达聚类、非平稳价差和价漂移、随机订单数量与价格波动等市场微观结构特征。实验显示该RL代理在复杂非静态市场环境下,能有效应对市场冲击和库存风险,优于闭式最优模型基准,且模拟环境适合训练适应多变市场状态的做市策略。
核心论点总结:
报告提出了一种结合参数化随机过程的限价订单簿模拟环境,精准捕捉现实市场中的结构性特征(如订单簇群现象、非平稳价差与收益漂移等),并通过基于Proximal Policy Optimization(PPO)算法的强化学习智能体实现市场做市。实证结果表明,该RL代理可以适应复杂且动态变化的市场条件,在比较基于数学封闭式解的基础做市策略时表现更佳。报告主推使用模拟器为RL模型训练提供可控且富含市场冲击和库存风险的训练环境,弥补传统历史数据和基于生成代理仿真的局限。,1,4,5,6,7]
内容与观点:
市场做市策略是金融市场微观结构的核心,职责在于持续发布买卖报价赚取价差。随着电子交易普及,该过程趋于自动化。但自动化面临滑点、市场冲击及非平稳市场环境等挑战。强化学习展现出优势,因为其能通过与环境交互自适应调整策略,适合复杂、变化的市场环境,且可以逼近Bellman方程的最优解。虽然传统使用历史数据训练RL智能体,但历史数据容量大处理成本高,且难以囊括市场冲击和库存风险。相比之下,基于统计模型的模拟可快速有效,并在一定程度上捕获市场特征,成为一种折中方案。
理论基础与假设:
强化学习中的Bellman方程用于递归定义状态与动作的价值函数,先进算法如PPO和SAC利用神经网络近似解,形成能自适应策略。历史数据存在样本偏差以及缺少市场机制动态反馈等问题,模拟数据则可嵌入特定的市场假设和随机结构。
关键论断:
市场做市RL的主要难点在于准确建模多变且冲击显著的市场环境。本文主张结合非平稳随机过程构建模拟环境辅助RL训练,提升智能体的泛化能力和实用性。
数据类型 (Data Types):
研究中以历史数据为主(8篇文献),其次为基于生成代理的模拟(Agent-Based, 6篇),再为基于模型的模拟(Model-Based, 5篇),少量使用实时数据。历史数据虽直观精准,但模拟数据更灵活可控驾驶。
状态空间、动作空间及奖励设计 (State, Action, Reward Spaces):
主流研究多聚焦于顶层盘口报价及N档订单数据,结合智能体库存信息反映市场风险与流动性(详见图表2c)。动作多集中于买卖价差调节,部分文献扩展至多层次报价控制。奖励函数普遍以日内盈亏(PnL)、库存惩罚及综合函数形式出现(见图2a),契合市场做市运营目标。
主算法选择 (Algorithms Used):
DL方法中PPO和DQN占主导,受益于其在收敛速度与泛化上的优势,部分文献使用双增强学习(DDQN)变体。整体趋势显示,基于RL的模型无监督学习具备良好的市场适应能力(表1)。
研究空白:
目前文献缺少同时使用非平稳模拟环境和强化学习智能体的系统研究,尤其是对市场冲击和滑点显著影响的考察不足。报告旨填补此空白,以动态模拟提升RL训练真实度与鲁棒性。,2]
环境建模:
将市场交易建模为马尔可夫决策过程(MDP),定义状态空间(S)、动作空间(\mathcal{A}),转移概率函数(\mathbb{P})和奖励函数(R)(3.1)。变量包括强化学习中反复使用的累计折扣奖励(G_t)和价值函数(V^\pi(s))。
状态构成:
状态空间涵盖代理库存、相对强弱指数(RSI)、订单不平衡(OI)、微价格(micro price)、移动平均(MA),以及以价差和数量表示的多档盘口信息(3.1.1)。所有指标均为金融市场做市常用指标,便于捕捉多维度市场动态。
动作构成:
动作空间包含买卖价差和下单数量,属于连续和离散变量的组合,智能体通过动态调整报价和数量直接控制订单簿形态,实现市场冲击模拟(3.1.2)。
奖励设计:
采用基于常绝对风险厌恶(CARA)效用函数的运行盈亏减库存惩罚作为奖励,反映风险回报权衡,奖励函数定义为(-e^{-\gamma \cdot \mathrm{PnL}_t})(3.1.1),与已有文献主流设计相符。
状态转移与市场动力学:
利用Hawkes自激过程模拟订单到达的聚簇性,再结合两套几何布朗运动(GBM)对买卖价进行模拟,分别在均值回复Ornstein-Uhlenbeck过程和Cox-IngersollRoss过程框架下建模价格漂移和价差波动,融入GARCH(1,1)模型作为价格波动率动态描述(3.3)。订单量由泊松过程模拟,极大增强模拟的市场真实性。
策略选择与算法细节:
基于广义策略迭代(Generalized Policy Iteration),采用PPO作为核心算法,通过策略梯度优化策略与价值函数,使用经典的优势函数估计(GAE)提升训练效率和稳定,3,4,5]
深度学习框架:
Actor网络设计中,采用多层自注意力机制捕捉不同价位档口间的空间依赖,结合多层全连接处理市场特征向量,提升处理复杂市场状态的能力。Critic网络为两层全连接网络结构(128和64单元)同样融合市场特征及LOB输入(图6展示架构细节)。
训练框架与超参数:
训练过程基于基于轨迹采集和广义优势估计的PPO算法,采用Adam优化器,学习率为3×10^{-4},折扣因子0.9,GAE参数0.85,PPO剪辑参数0.25,批大小256。训练运行环境为高端GPU+CPU组合,单次训练约3小时完成10000个回合(页面6)。
数据生成参数:
订单到达率设为1,簇群效应参数α=0.1,β=0.1,价差10美分,年化价格漂移-2%,GARCH参数ω=0.5,α=0.1,β=0.1,初始价格100等。
训练流程细节:
采用在线RL方式,因考虑市场冲击和动态反馈,不依赖静态历史数据,使用轨迹缓存动态更新策略,示意图(图5)清晰反映训练奖励随回合稳步提升,显示学习效果良好,6]
核心指标比较:
RL智能体在年度化回报率约+1.31%,明显优于基准Avellaneda-Stoikov模型(+0.76%)及长仓策略(-0.56%);其Sortino比率接近0.75,表明风险调整后表现更优稳定,比基准模型(0.4271)及长仓模型(-0.0079)均高(见表2)。
表现稳定性与快速响应性:
回测曲线显示RL模型回报稳定接近零波动,训练曲线单调上升,说明模型在非平稳、多变市场条件下表现稳健。模型推理时延极低,Actor网络平均2.9毫秒,Critic网络0.000021秒,适合中低频量化交易场景。
对比基准和现实意义:
通过与基于封闭式解的简化模型比较,RL模型展现了对于复杂市场冲击及库存风险的适应能力,突出了一种动态、灵活的市场做市解决方案的潜力。该模型可显著优于传统因简化假设受限的基准模型,7,8]
本报告核心目标非传统估值,而是优化市场做市策略收益。其“估值”更多体现为:
论文没有直接使用DCF或多重倍数法等传统企业估值手段,而是采用基准模型Avellaneda-Stoikov的封闭式解(简化市场模型前提)作为对照。此模型中基于价格波动率、均值价差指标,推导出理论最优买卖价差。
强化学习代理的高于基准回报表明其在复杂非平稳市场模拟中学习到更优策略,反映一种隐含的“策略价值”估算。,6,7]
非平稳市场行为的挑战:
市场价差、订单到达率和价格漂移的随机且变化特征会导致策略失效风险。作者通过参数化的随机过程模拟市场状态变化,增强智能体适应不同“市场状态”的能力。
市场冲击与滑点:
订单对市场价格的反馈(市场冲击)及未能成交带来的滑点风险纳入模型中,使得强化学习要面对更现实的压力测试。
库存风险管理:
通过库存惩罚机制将代理暴露于清仓风险,保障策略不过度累积仓位,引发过大损失。
计算资源与模型复杂性:
尽管引入高度动态市场环境,但模型选择经过折衷,避免训练时间过长或训练过程不稳定的风险。高性能GPU加速支持有效训练。
风险缓解策略:
采用PPO策略稳定性保证,新颖网络结构辅助捕捉空间依赖关系,采用实时反馈和在线学习减轻历史数据不足的影响。,4,6,7]
模拟环境的真实性限制:
基于随机过程的模拟虽有效捕获宏观市场特征,但仍无法完全反映真实市场的微观结构复杂性,如订单簿深度微观结构和高频市场冲击。
模型简化假设及响应速度:
尽管模型使用了先进随机过程,部分参数(如订单量泊松分布、价差波动过程)仍是简化处理,可能导致智能体在极端情况下泛化能力受限。
对比基准模型的局限:
选用Avellaneda-Stoikov封闭式解作为基准,其参数设定较为理想化,可能过于简单,因此强化学习策略表现较优的同时,不排除基准模型在复杂环境下表现失衡。
训练中性能指标的代表性:
训练奖励和回报曲线显示改善趋势,但训练报酬和真实回测业绩的映射仍带有不确定性,实际线上表现尚需进一步实证验证。
未来方向暗示含混:
报告在结论中提及混合世界模型策略(结合模型基和模型自由强化学习)方向,但未进一步详述实现细节和潜在风险。
本文系统地设计并实现了一个基于PPO强化学习的市场做市智能体,置于通过多个参数化随机过程联合驱动的非平稳限价订单簿模拟环境中。该环境精准模拟了真实市场的关键特征,包括聚簇订单到达、自激机制、非稳价差、均值回复价格漂移及波动率动态变化,同时考虑市场冲击和库存风险。
智能体通过学习调整买卖价差和下单数量策略,在极具挑战性的动态市场环境下表现稳健,较传统封闭式最优策略获得更优收益和风险调整绩效。整个训练体系包括先进的自注意力神经网络架构、GAE优势估计和PPO裁剪策略,训练效率高且推理延迟适合实际中低频交易。
展望未来,报告建议将基于模型与模型自由的强化学习范式结合,开发混合世界模型,以进一步增强策略在持续变化市场中的自适应能力。
图表深度理解已证实:
总体立场明确: 本报告支持在非平稳、库存受限且复杂限价订单簿环境下采用基于PPO的强化学习,作为市场做市策略设计的有效新范式,兼具理论创新和实用启示价值。,1,2,3,4,5,6,7,8]
| 内容类别 | 关键点概括 |
|---|---|
| 数据类型 | 历史数据为主,模拟为辅,缺少结合RL的非平稳环境研究 |
| 状态空间 | 库存、价差、RSI、订单不平衡、微价格、N档报价深度 |
| 动作空间 | 买卖价差配对+相应下单数量 |
| 奖励函数 | CARA效用函数基础的风险调整利润 |
| 强化算法 | PPO为主,结合优势估计(GAE)与神经网络策略近似 |
| 市场环境模型 | Hawkes过程、GBM价差及价格,Ornstein-Uhlenbeck漂移,CIR价差维持、GARCH波动率 |
| 网络结构 | Actor采用多层自注意力,Critic为多层全连接 |
| 实验结果 | RL年收益1.31%,优于基准0.76%;Sortino比率最高;训练奖励曲线持续上升 |
| 计算资源 | 单次训练3小时,推理延迟在毫秒级可用 |
| 风险 | 模拟假设简化局限、基准对比模型简约、实际复杂性挑战 |
全文引用标注: 各条结论均源于原报告第0至8页内容,页码标注呈现于句末。
2509.12456.pdf