本文提出SAiFE-gym,一个面向集中流动性恒定乘积市场的模块化强化学习环境集合,可组合价格过程、订单流、价格冲击、流动性分布及区块链摩擦等组件,并通过NumPy向量化架构提升大规模轨迹模拟效率。实验表明,向量化方法在1000条轨迹下约需0.05秒,相较多进程方法约1.6秒,速度提升约30倍;域随机化PPO策略在不同波动率和噪声交易强度下表现出更强的跨市场参数泛化能力。
论文的核心主张不是某一种具体做市策略一定能够获得超额收益,而是:当前关于去中心化交易所(DEX)和自动做市商(AMM)的研究缺乏统一、开放、可扩展的强化学习仿真基础设施;SAiFE-gym试图将价格过程、订单流、流动性分布、价格冲击、交易费用、区块链延迟和奖励函数等组件拆分并组合起来,从而使研究者能够在不同经济设定下训练和评估流动性提供者(LP)或流动性接受者(LT)代理。,
论文进一步用两个实验说明该环境的价值:第一,在固定市场参数下训练PPO流动性提供者;第二,通过域随机化改变波动率和噪声交易到达强度,检验代理在参数不确定和分布外环境中的稳健性。,
AMM是建立在区块链上的交易机制,利用预先设定的数学函数或债券曲线自动完成买卖,而不是依赖传统订单簿中的买方和卖方逐笔撮合。论文指出,恒定乘积市场是最具代表性的AMM形式之一,并且AMM在以太坊及兼容网络上已经促成了约4万亿美元的交易量,说明其具有重要的实际市场规模。
传统的Uniswap v2式恒定乘积AMM存在资本效率低的问题:LP必须在整个价格范围内提供流动性,但在任一时点,只有当前价格附近的部分流动性真正参与交易。Uniswap v3引入集中流动性后,LP可以指定流动性有效的价格区间,因此能够用更少的资本承载相近的交易深度,但代价是LP的决策空间显著扩展,LP不再只是被动存入资产,而需要持续决定价格区间、资金配置以及再平衡时机。
这正是强化学习适用的原因。LP的每次行动不仅影响当前资产构成和手续费收入,也会影响未来订单流、价格冲击和后续的流动性竞争,因此问题具有连续决策、随机性和高维状态等特征。论文认为,传统数学模型通常为了获得解析解而降低维度,难以同时刻画区块链摩擦、复杂流动性形状和动态订单流;RL则可以作为数值控制工具应对这些高维问题。,
论文归纳了四项贡献:
这些贡献的重点在于“基础设施”而非单一策略。换言之,论文的主要产出是一个实验平台,而不是一个已经在真实DEX中验证过的盈利系统。
论文将相关工作分为两类。
第一类是AMM和集中流动性理论研究。相关文献讨论了恒定函数做市商的价格预言机性质、Uniswap v3中的动态流动性提供、集中流动性的可预测损失,以及将动态LP配置形式化为随机控制问题。这些工作为SAiFE-gym中的恒定乘积机制、价格区间和LP策略设计提供了理论背景,但部分解析模型忽略了Gas费用和区块链延迟。
第二类是金融市场中的RL环境。传统金融领域已经存在用于订单簿市场的模型化RL环境和多智能体仿真器,但DeFi领域缺少与实际AMM内部机制紧密结合、且能够模块化替换经济组件的开源平台。作者特别强调,SAiFE-gym与简化的订单簿模型不同,其集中流动性实现试图更接近Uniswap v3等实际池子的状态结构。
论文因此处于“模型化金融仿真器”和“多智能体市场仿真器”之间:市场价格和订单强度仍主要由外生或参数化过程指定,但未来可以逐步加入多个LP、套利者和噪声交易者,使市场动态更多地由代理互动产生。
设(X)为计价资产,例如USDC,(Y)为风险资产,例如ETH,池中储备分别为(q_X)和(q_Y)。恒定乘积市场满足:
[ q_Xq_Y=\kappa ]
其中(\kappa)表示池子的深度或流动性参数。由该不变量可得风险资产的边际价格约为:
[ Z=\frac{q_X}{q_Y} ]
这里的(Z)是交易手续费之前的瞬时边际价格。若交易者以(X)换入(Y),交易手续费率为(\tau),则只有输入金额的(1-\tau)真正进入不变量计算,因此实际成交价格会受到手续费和池子曲率的共同影响。
恒定乘积机制的经济含义是:交易者买入(Y)后,池中(Y)储备下降、(X)储备增加,边际价格上升;交易者卖出(Y)时则相反。交易规模越大,相对于池深度的比例越高,价格冲击通常越大。
在集中流动性市场中,LP选择一个价格区间((Z^\ell,Z^u]),并为该区间配置流动性数量(\tilde{\kappa})。价格低于区间下限时,仓位主要由风险资产(Y)构成;价格高于区间上限时,仓位主要由计价资产(X)构成;只有当前价格处于区间内部时,仓位才同时包含两种资产并积极参与交易。
价格空间被离散成有序网格,相邻网格点构成一个tick range。每个区间中的总流动性是该区间内所有LP仓位流动性之和。因此,整个AMM状态可以用“当前边际价格(Z)+各个tick区间的流动性深度”表示,而不必直接记录所有仓位的资产余额。
这种重参数化对RL很重要,因为LP行动主要改变流动性深度曲线,而LT交易主要推动边际价格在tick网格上移动。LP的收益还包括手续费:某一仓位在活跃区间内时,其手续费收入按该仓位流动性占该tick区间总流动性的比例分配。
论文区分了两个价格:
SAiFE-gym实现了几类外部价格模型,包括几何布朗运动、算术布朗运动,以及带有均值回复alpha信号的算术价格模型。几何布朗运动中的漂移(\mu)和波动率(\sigma)决定价格的长期趋势和随机波动;Ornstein–Uhlenbeck型alpha信号则通过均值回复率和信号波动率描述短期可预测性。
这种“外部价格外生、AMM价格内生”的设定简化了真实市场。它适合研究LP如何跟随或响应外部价格,但没有完整建模AMM规模对外部市场价格发现的反向影响。
LT订单被拆分为外生和内生部分。强度模型包含几个重要参数:
如果外部价格高于AMM价格,理论上套利者更可能买入风险资产,推动AMM价格上升;如果AMM价格高于外部价格,则卖出压力可能增加。由此,LP的流动性配置不仅影响自身交易手续费,也可能通过改变相邻tick的深度,影响未来订单到达强度。,
图1中的指数核正是刻画这种“邻近流动性影响订单流”的工具。
图1展示了相对于当前tick的流动性统计:横轴是距离当前tick的相对位置,纵轴是流动性,虚线表示当前tick,红色和蓝色区域分别代表卖出核和买入核的观察窗口。对称深度曲线显示左右两侧流动性均匀时的基准情形,买方深度和卖方深度曲线则显示单侧流动性配置如何改变订单流影响。图中当前tick附近存在明显的尖峰和缺口,说明LP如果把流动性集中在某些区间,可能会改变交易者在不同方向上的到达强度。
图形支持论文的核心设计:LP行动不只影响静态资产持仓,还会通过局部流动性分布改变未来市场动态。不过,核函数的形状、权重和观察窗口需要校准;若只是人为设定,模型可能产生现实中并不存在的订单流反馈。
论文提供两类价格冲击模型:
第二种模型更接近实际AMM,因为同样大小的交易在深度较大的区域引起的价格变化更小,在深度较小的区域引起的价格变化更大。但它仍然是离散tick跳跃,而不是完整执行每一笔交易后的连续储备更新,因此其精度取决于tick间距、平滑窗口和交易量分布。
SAiFE-gym将LP再平衡成本建模为固定Gas费用。累计成本取决于再平衡发生的次数,而不是LP仓位本身,因此频繁调仓会直接侵蚀收益。
延迟通过限制每个episode中代理能够做出决策的次数来实现。例如,代理可以每100个市场时间步才重新配置一次仓位。这种设计把高频市场变化和低频LP决策分开,体现了区块确认和交易提交过程中的现实限制。,
该处理方式具有可解释性,但属于确定性延迟,尚未包含Gas价格波动、交易失败、抢跑、区块排序或MEV等更复杂的区块链摩擦。
LP可以采取两类主要行动:一是在当前价格附近建立活跃仓位;二是在当前价格之外配置单边仓位,从而近似限价单。每次重新行动时,LP先撤回原仓位、收取累计手续费,再将全部财富投入新仓位。
这一“全额退出—全额再投资”的机制便于实现,但也可能比真实Uniswap v3操作更刚性,因为真实LP可以只调整部分仓位、保留既有头寸或分层配置多个区间。
LT代理的控制变量是交易速度(v),其交易量为(v\cdot dt)。文中约定(v>0)表示卖出风险资产,(v<0)表示买入风险资产,交易执行成本由深度相关价格冲击决定。,
风险中性奖励采用最终标记市值:
[ V_T=x_T+y_TS_T ]
其中(x_T)和(y_T)分别是最终持有的计价资产和风险资产数量,Gas费用从计价资产中扣除,PnL为(V_T-V_0)。
此外,论文实现了库存惩罚奖励。该奖励对偏离目标风险资产持仓(\hat y)的行为施加运行期和终期期限惩罚,参数(\phi)反映持续持有风险资产的紧迫程度,参数(\eta)控制终端库存偏离的惩罚强度。
因此,实验中的策略不一定单纯追求手续费或最终财富,而是在收益、库存风险和调仓成本之间进行权衡。
表1的作用是列出SAiFE-gym中可以插拔的主要组件,并强调每个组件通过小型接口暴露,替换一个模型时不必重写整个AMM引擎。
从正文看,这些组件包括外部价格过程、订单到达强度、价格冲击模型、集中流动性状态、Gas成本、延迟、LP/LT代理以及奖励函数。表1不是财务数据表,而是软件架构和建模选项表;其价值在于显示平台能够支持多种经济假设的组合。
图2从上到下展示了SB3 Wrapper、Gymnasium Environment和AMM Engine三层结构。代理首先接收扁平化观测,通过step_async和step_wait提交行动;Gym环境随后更新代理状态和市场状态,处理交换、tick移动、手续费和组合特征,最后返回下一观测、奖励和终止信息。
其中,StructuredMultiDiscreteVecEnv将原本的“下界偏移、上界偏移、持有”参数化方式转换为“中心、半宽、持有”,使RL代理更容易分别探索区间中心和区间宽度;DecisionStrideEnv则控制市场更新频率与代理决策频率之间的差异;ReduceStateSizeWrapper允许研究者只选择时间剩余、误定价(S_t-Z_t)、当前仓位和累计手续费等观测变量。,
图3采用对数坐标展示不同轨迹数量下的模拟耗时。运行1000条轨迹时,NumPy向量化约需0.05秒,而基于concurrent.futures的多进程方法约需1.6秒,速度约提升30倍。
图中实线始终明显低于虚线,说明在相同单轨迹工作量下,批量数组运算能够减少进程调度、内存分配和跨进程通信开销。该结果对RL尤其重要,因为RL通常需要数百万次rollout。不过,向量化优势依赖于状态更新可以用数组批处理表达;如果未来引入复杂的异步多智能体互动,优势可能缩小。
图4比较了10、100、1000和10000条并行轨迹下的平均episode奖励。10条轨迹的红线波动最大,偶尔出现显著偏离;100、1000和10000条轨迹的曲线逐步收敛到约1.8附近,且波动明显较低。
这说明增加批量规模可以降低单一价格路径或订单流路径对策略梯度的影响,使训练更稳定。但图中也显示100条和1000条轨迹的最终训练表现差异并不明显,因此继续增加并行规模主要改善估计稳定性和计算效率,不一定带来同等程度的策略收益提升。
固定市场实验使用几何布朗运动,设漂移(\mu=0)、波动率(\sigma=0.03)。初始外部价格和AMM价格均为100,LP初始财富为1000单位(X),每个tick区间初始化100,000个流动性单位,接近初始价格的区间约对应50单位(X)的深度。每笔LT交易规模固定为250单位(X),大约推动价格移动5个tick,Gas成本为2单位(X)。
PPO代理每100个市场时间步做一次决策,行动范围限制为当前价格附近50个tick区间;奖励采用运行库存惩罚,(\phi=0.4)、终端惩罚(\eta=0)、目标风险资产持仓为0。基准代理同样每100步调仓,但始终围绕当前AMM价格对称配置流动性。
图5比较了周期性对称再平衡和PPO策略在三条样本路径上的表现。
左列基准策略的价格区间基本围绕当前价格对称、按固定频率更新;右列PPO策略的区间形状和位置随市场路径变化,表现出更具条件性的配置特征。
需要注意的是,图5主要用于展示策略行为,而不是严格的统计性能比较。论文没有在该处给出足够的置信区间、多个随机种子或完整收益分布,因此不能仅凭三条样本轨迹断言PPO在真实交易中具有稳定超额收益。
域随机化把波动率(\sigma)和基础订单到达强度(\alpha_1)作为随机市场域,并在训练期间分别从([0.01,0.05])和([300,600])的均匀分布采样。不同轨迹组共享同一个市场域,参数(D)决定每次PPO更新覆盖多少个域,以及每个域拥有多少重复随机轨迹。
由于市场域没有放入代理观测空间,代理面临的是带有潜在参数的部分可观测决策问题。它不能直接知道当前波动率和噪声订单强度,只能学习对一系列可能市场条件都相对有效的行为。
图6给出了周期性基准、固定域训练的名义PPO和域随机化PPO在不同参数组合下的期望终端PnL。
图6最清晰的规律是:在三种代理下,较低波动率和较高基础到达强度通常对应更高终端PnL。例如基准策略在((\sigma,\alpha_1)=(0.03,450))时为46.60,在((0.015,800))时达到120.67;名义PPO在中心参数点为55.43,域随机化PPO为55.38。
在训练中心域,名义PPO略高于域随机化PPO,说明专门针对单一参数训练可以获得轻微的局部优势;但在部分分布外区域,域随机化策略表现更稳健,例如在高波动、低到达强度区域((0.05,250)),域随机化PPO为-4.79,高于名义PPO的-5.54。
总体而言,域随机化没有在所有格点上都取得最高PnL,但使策略在参数变化下维持了接近名义PPO的表现。该结果支持“训练时暴露于参数不确定性有助于提升稳健性”的观点,而不是证明域随机化必然提高所有环境中的绝对收益。
本文没有传统意义上的估值部分,也没有DCF、P/E、EV/EBITDA、目标价、收入预测或利润预测。其“价值”体现在软件模块的可扩展性、模拟速度和RL实验能力,而不是对某家公司或代币进行内在价值估算。
实验中出现的PnL数字是仿真代理在给定市场模型和奖励函数下的终端标记收益,不应等同于真实可实现利润。其基础假设包括外部价格过程、订单强度参数、固定交易规模、tick离散化、Gas成本和固定决策延迟,因此这些PnL更适合用来比较策略在同一模拟框架内的相对表现。
SAiFE-gym的核心贡献是把集中流动性AMM拆解为一组可替换的建模组件,并通过Gymnasium、SB3和NumPy向量化接口将其转化为适合强化学习训练的环境。其设计覆盖了恒定乘积机制、tick级流动性、外部价格、订单到达、套利压力、深度相关价格冲击、Gas、延迟、LP/LT代理和库存风险奖励。, , ,
图1表明,LP的局部流动性配置能够影响未来订单流;图2说明AMM引擎可以被标准RL接口调用;图3和图4证明批量向量化既显著降低模拟时间,也改善奖励估计稳定性;图5显示PPO会根据价格路径动态调整区间,而非机械地对称再平衡;图6则显示,在固定参数下名义PPO在中心域具有局部优势,域随机化PPO则在部分分布外参数下表现出更好的稳健性。, , , ,
因此,论文的总体判断是:SAiFE-gym能够降低AMM强化学习研究的工程门槛,并为研究动态流动性管理、套利、手续费设计和多代理竞争提供基础平台。但现阶段它仍然是模型化仿真框架,而不是经真实市场验证的交易系统;其结论高度依赖市场参数、价格过程、订单流和区块链摩擦的设定,未来需要通过链上数据校准、更多统计检验、多LP竞争和更真实的区块链执行机制来增强外部有效性。
2609.17788.pdf