本文介绍了首个基于JAX的GPU加速大规模多智能体强化学习环境JaxMARL-HFT,针对高频交易中的限价单簿数据进行建模,显著提升了训练速度(最高可达240倍),支持多种异构代理类型。利用此环境,作者用独立PPO算法对市场做市和订单执行两个智能体进行训练,所学策略优于基准模型,展现了MARL在高频交易仿真中的潜力
| 框架 | 1 agents, 100消息/步 | 10 agents, 100消息/步 | 1 agents, 1消息/步 | 10 agents, 1消息/步 |
|---|---|---|---|---|
| JaxMARL-HFT | 21969 steps/s | 10724 steps/s | 351119 steps/s | 48312 steps/s |
| PyMarketSim | 463 steps/s | — | 10830 steps/s | — |
| ABIDES-gym | 734 steps/s | — | 2979 steps/s | — |
| CPU-MARL | 1805 steps/s | 30 steps/s | 4896 steps/s | 114 steps/s |
报告标题:JaxMARL-HFT: GPU-Accelerated Large-Scale Multi-Agent Reinforcement Learning for High-Frequency Trading
作者:Valentin Mohl 等,均隶属牛津大学多个系部,以及加州大学洛杉矶分校等机构
发布日期:2024年(具体日期未明)
主题:本报告聚焦于以GPU加速的多智能体强化学习(MARL)环境在高频交易(HFT)领域的应用,介绍了首个面向交易中限价订单簿(LOB)级别的GPU加速开源多智能体强化学习环境——JaxMARL-HFT。
核心论点总结:
报告提出并实现了一个基于JAX的多智能体强化学习环境JaxMARL-HFT,专用于HFT场景,采用市场订单(Market-by-Order,MBO)数据进行仿真。该环境支持异质代理,灵活的观察、动作空间与奖励函数设计,并对比现有同类实现显示最高可实现约240倍的训练速度提升,使得利用大规模、高维度的市场微观数据进行大规模MARL研究成为可能。报告还展示了基于IPPO算法的两智能体案例(执行代理与做市代理),学习结果优于标准基线策略,表明所构建环境的有效性和潜力。代码开源于GitHub。总体而言,报告旨在展示JaxMARL-HFT的设计架构、性能优势及其实用性,促进HFT领域MARL研究的发展。,1]
关键论点:
推理依据及逻辑:
HFT交易高度依赖订单簿细粒度数据,传统的ABM无法灵活调整代理策略,RL中的MARL适合模拟代理互动。但MARL需要大量计算资源。JAX的GPU加速特性(如vmap、JIT编译)降低了训练瓶颈。故作者设计了一个基于JAX及JaxMARL框架的定制环境,突破传统计算限制,并使得各类不同任务和策略的代理共存和学习成为可能。,1]
关键数据点与概念解析:
关键论点:
推理依据:计算瓶颈和训练不稳定限制了MARL在HFT的应用,开源GPU加速框架能推动该领域发展。本文旨在填补这一空白,提供高效、低时延的多智能体交互环境,支持真实数据驱动训练。,2]
关键观点:
关键数据点与解释:
复杂概念解析:
,3]
做市Agent:
执行Agent:
方向交易Agent:
这一异质代理设计力求兼顾逼真交易任务多样性与MARL算法兼容性。
关键数据点:
| 框架 | Agent类型 | 数据消息/步 | 代理数 | 步数/秒 (Steps/s) |
|---|---|---|---|---|
| JaxMARL-HFT | 1种/1个代理 | 100 | 1 | 21969 |
| 1 | 1 | 351119 | ||
| 2种/5个代理 | 100 | 5 | 14801 | |
| 1 | 5 | 89062 | ||
| 2种/10个代理 | 100 | 10 | 10724 | |
| 1 | 10 | 48312 | ||
| PyMarketSim | 单代理 (零智能) | -- | 1 | 463 (1个消息) |
| ABIDES-gym | 单代理 | -- | 1 | 734 (100条消息) |
| CPU-MARL | 多代理 | 100 | 5 | 334 |
训练表现(见图3a、3b):
图1:双级vmap并行机制图
展示了JAX的vmap如何实现两层并行:横跨“多回合”和“同类型多代理”,确保对代理异质性的支持同时实现GPU最大并行效率。对底层数据预加载方式的优化降低了显存需求,支撑大规模订单数据处理。
表1:多环境多代理性能对比表
量化了JaxMARL-HFT相较PyMarketSim、ABIDES-gym及自行实现CPU多智能体环境的优势,在不同消息数、代理数量配置下均取得显著步数/秒提升,最高近200倍以上。
图2:MARL训练流水线速度对比柱状图
细分代理数量与消息数,展示单GPU与多GPU架构下的性能跃升,强调在多智能体高负载条件下GPU实现的训练加速价值。数据清晰展示出硬件并行与JAX技术的结合优势。
图3a与3b:两个智能体的训练曲线
分别展示市场做市代理基于不同动作空间和奖励函数的投资组合价值与执行代理在不同终局惩罚设置的滑点。曲线表明奖励函数设计与动作空间选择对代理性能有显著影响,且训练整体收敛态势良好。
图4a与4b:学习策略行为剖析
动作分布揭示做市代理倾向于不参与交易,体现策略规避亏损风险;执行代理订单剩余轨迹显示学习的进攻性显著优于基线策略。
图5:学习代理与基线代理绩效对比热力矩阵
直观显示两种策略组合下做市代理价值及执行代理滑点变化,强调MARL环境中策略交互变化对市场表现产生量化影响,证实MARL训练策略优于传统基线。
本报告并未涉及传统金融估值模型分析(如DCF、市盈率等),因为其核心聚焦深度学习/强化学习技术框架及交易策略训练环境设计与性能评估,非财务估值研究报告。
报告中未专门系统列出风险因素;但隐含风险包括:
报告虽然未提供缓解策略与风险概率评估,但明确指出未来工作方向将对环境设计及策略学习的改善进行探索。,6]
综合发现:
本报告提出的JaxMARL-HFT环境基于JAX强大的GPU加速能力,成功构建了高效、灵活支持多智能体强化学习的高频交易仿真平台,允许对百万级订单数据的大规模训练成为现实。其设计实现巧妙利用vmap实现了两级并行,兼顾了异质代理策略的灵活性和GPU计算效率的最大化。性能测试清晰显示其在步骤吞吐和训练流水线速度均远超现有业界开源框架,最高达240倍加速,极大拓展了HFT领域MARL的研究空间。
在实证MARL训练中,基于IPPO算法的两智能体系统实现了超过传统基线(包括经典Avellaneda-Stoikov做市模型和TWAP执行策略)的绩效表现,策略行为展示了一定的对抗性和学习能力,验证了环境的有效性。对应的学习曲线、策略动作分布和性能对比图表直观佐证了该结论。
报告作者总体立场和评价:
JaxMARL-HFT被视为推动高频金融市场MARL研究的重要突破平台,具备开放、可扩展和高效特点。作者同时承认现有设计中奖励函数与环境机制存在限制,尤其对做市策略表现仍需改进,未来计划围绕市场影响评估、泛化观察/动作设计、生成模型替代历史数据以及对手塑造等方向持续发展。
此报告不仅从技术层面详细介绍了一个突破性的GPU加速高频交易MARL仿真系统,而且通过丰富的实验设计和实证验证,展示了其在训练速度和策略表现上的显著优势。报告结构严谨,数据详实,体现了理论与实践的高度结合。对于学术界和量化交易研发者均具备较高的参考价值与实用潜力。
,1,2,3,4,5,6,7]
2511.02136.pdf