本文提出面向宏观经济建模的JaxMARL-BC,将JAX即时编译、GPU加速与多智能体强化学习结合,使MARL-BC经济模型的训练时间由数小时降至数十秒,并支持最多约20万户独立学习家庭。研究通过代表性代理RBC与Krusell–Smith模型极限验证模拟器正确性,发现训练后资本聚合关系、财富分布和消费倾向均能复现既有理论特征;扩展资本生产率异质性后,资本基尼系数可由约0.20升至约0.72,且110次校准实验仅需约两小时,显著拓展了异质性宏观模型的实验与校准范围。
jax.vmap 并行化,时间维度通过不可并行的 lax.scan 顺序推进。报告的核心观点是:多智能体强化学习(MARL)能够以大量异质家庭为基础构造宏观经济模型,但其在宏观经济学中的应用一直受到两个障碍限制。第一,MARL模型缺乏与经济学界熟悉的DSGE、RBC和Krusell–Smith模型之间的共同参照系;第二,强化学习训练时间过长,传统DSGE模型往往数秒即可求解,而原始MARL-BC模型一次训练需要数小时。
本文主要解决第二个问题。作者利用JAX的即时编译、向量化和硬件加速能力,将MARL-BC模型的训练时间从小时级压缩到几十秒,并在GPU上将可处理的独立学习家庭数量扩展到约20万。论文报告的加速幅度相对于原始实现约为75倍至724倍,并通过正确性检验、规模扩展实验以及异质资本回报率校准实验来证明这一工具的实用性。,
论文没有股票评级、目标价、收入预测、现金流估值或投资建议,因此传统金融报告中的“买入/持有/卖出”和目标价格部分并不适用。
强化学习让代理人在反复与经济环境互动的过程中学习能够提高奖励的行为。多智能体强化学习进一步允许经济中存在大量不同的家庭、企业或其他决策者,每个主体都可以根据自身观察和目标形成行为策略,因此比单一代表性主体模型更适合描述财富、收入、生产率和决策能力的异质性。
金融领域已经较早采用这种方法,应用场景包括交易、套期保值、做市以及多主体市场模拟。然而,宏观经济学采用MARL的速度较慢,原因并不单纯是技术保守,而是传统DSGE模型在理论和实践上具有共同语言。DSGE模型明确规定家庭和企业的优化问题、市场均衡和理性预期,从而使不同研究者能够在相同框架下比较结果。
作者将这种传统框架称为避免进入“有限理性荒野”的共同参照系。MARL允许大量偏离完全理性的行为,但如果没有明确的基准,就很难判断学习出来的策略是经济上合理的行为,还是算法没有收敛、奖励函数设置不当或训练噪声造成的结果。
此前的MARL-BC模型已经部分解决了理论可比性问题。该模型把深度强化学习家庭放入真实商业周期(RBC)经济中,并且在特定极限下还原传统模型:
这两个极限使MARL-BC具备可验证性。研究者可以将强化学习结果与经典DSGE模型的已知结果进行比较,而不是只展示一个无法解释的黑箱模拟。JaxMARL-BC并没有改变这一经济结构,而是对计算架构进行了重写。
一个家庭在每期开始时拥有资本 (k_i)、劳动禀赋 (\ell_i),以及固定的资本生产率 (\kappa_i) 和劳动生产率 (\lambda_i)。模型首先对家庭变量进行生产率加权平均,形成有效的总资本和总劳动,再通过带有资本弹性的Cobb–Douglas生产函数和总技术冲击 (A_t) 生成产出。
家庭获得的资本回报率和工资取决于其自身资本生产率、劳动生产率以及总量状态。因此,家庭面对的价格既受到宏观状态影响,也受到自身生产率影响。现金持有量则由资本收入、劳动收入、折旧和消费共同决定。
家庭的主要决策包括:
奖励函数把消费和劳动或闲暇结合起来,其中参数 (b) 代表闲暇相对于消费的权重,折现因子 (\beta) 则决定家庭对未来奖励的重视程度。
所提供文本中的若干数学公式在版面转录时缺失,例如资本积累方程、工资与资本回报率的明确表达式以及奖励函数的完整形式。因此,可以准确解释模型结构,但不能仅依据当前文本恢复每个公式的完整符号和右端项。
家庭通过近端策略优化算法(PPO)进行训练。PPO是一种常见的策略梯度方法,通过限制新旧策略之间的更新幅度,降低策略训练过程中的不稳定性。
在多主体环境中,每个家庭看到的价格和回报取决于其他家庭的当前行为,因此对单个家庭而言,环境具有非平稳性。传统单智能体强化学习的收敛保证不能直接适用。
为了缓解这一问题,作者采用参数共享:所有对称家庭使用同一个策略网络,但每个家庭输入自身的资本、劳动、生产率和宏观变量。参数共享不会强迫所有家庭行为完全一致,因为家庭的私人状态不同,网络会根据不同观察生成不同动作。作者将这一设定解释为一种简化的“社会学习”。
JaxMARL-BC的速度优势来自对计算结构的重新组织。一次模拟同时具有三个维度:
jax.vmap进行批量向量化。lax.scan顺序推进。策略网络将环境维度和家庭维度展平为批量宽度:
[ W=E\times n ]
所有环境重置、环境步进、策略前向传播、优化器更新和梯度计算都被放在一个JAX的jit编译边界内。其含义是,程序不会在每个时间步反复从Python层调用环境和神经网络,而是先编译成适合CPU或GPU执行的整体程序。
作者用以下思路描述训练时间:
[ T_{\text{train}}\approx D\left(\tau+\frac{W}{P}\right) ]
其中,(D)是必须顺序执行的阶段数,(\tau)是每个阶段的固定启动延迟,(W)是一次批量中的代理转换数量,(P)是硬件设备在充分负载下每秒可以处理的代理转换数。
这一表达式揭示了两个运行区间:
这说明JAX加速并不是简单地让每个家庭的计算都变快,而是通过批量化让硬件持续处于高利用率状态。其收益尤其适合大量相互独立的环境和大规模家庭群体。
论文还提供了一个自然语言控制的仪表盘。用户可以用自然语言描述想运行的经济实验,底层大语言模型将请求转换为YAML配置文件,用户在训练前可以预览并修改配置,随后启动训练、查看日志并浏览结果。
该仪表盘的价值在于降低使用门槛,但作者明确指出,本文没有对仪表盘进行正式评估,实验仍通过命令行完成。因此,它目前属于便利性工具,而不是已经验证的经济建模组件。
论文设计了三个实验:
实验使用P100 GPU,并在规模实验中增加Intel Xeon CPU作为对照。策略网络为共享参数的64×64双层tanh多层感知机,训练算法为PPO,优化器为Adam,裁剪参数为0.2,GAE衰减系数为0.95,折现因子为(\beta),每次梯度更新对经验数据训练4个epoch,并拆分为64个小批次。计算采用float32。
均值场Krusell–Smith参数包括:
图3分为上下两组。上组是 (n=200) 个家庭,下组是 (n=100,000) 个家庭。每组又包括三个方面:
左侧图展示当期总资本 (K_t) 与下一期总资本 (K_{t+1}) 的关系,并根据经济处于好状态或坏状态分别拟合资本运动方程。对于200个家庭,训练初期好状态的 (R^2)为0.836,坏状态为0.945;训练后分别提高到0.992和0.995。
这意味着强化学习策略经过训练后,经济总量状态可以通过一个相对简单的线性规律近似描述,这正是Krusell–Smith模型中的“近似聚合”特征。好状态和坏状态的点云也逐渐分离,说明策略能够识别技术状态对资本积累的影响。
在100,000个家庭时,群体平均效应更平滑,训练结束时两个状态的 (R^2) 都达到1.000。作者据此认为,大规模群体能够更清晰地呈现均值场关系,但200个家庭已经足以捕捉主要经济现象。
训练前,家庭资本几乎集中在约0.75附近,分布接近退化状态,说明未训练网络采取近似统一的消费策略,导致资本快速坍缩。训练后,资本分布形成双峰结构,既有低资本家庭,也有较高资本家庭,资本基尼系数约为0.22。
这个结果与原始Krusell–Smith模型和此前MARL-BC研究中的财富分布相符。论文还报告,在同质性基准的十个随机种子中,基尼系数约为 (0.20\pm0.05),表明单次运行的0.22并非异常结果。,
右侧图显示训练后消费比例随财富增加而下降,大约从0.40逐步下降至0.11。其经济含义是,低财富家庭需要消费更高比例的现金或财富,而高财富家庭可以储蓄更多。相同财富水平下,就业家庭的消费比例略高于失业家庭。
这三个结果共同构成正确性检验:总量动态近似线性、财富分布具有合理的双峰结构、消费比例随财富下降。它们并不证明所有可能的宏观经济性质都正确,但说明JaxMARL-BC能够恢复作者选定的Krusell–Smith基准特征。
图4将训练过程按时间切片展示资本分布,颜色表示对数尺度上的家庭密度,青色曲线表示平均资本。
图中最重要的信息是,经济在训练前约五分之一的阶段内迅速离开初始的近似退化状态,随后形成较稳定的财富分布。后续训练阶段中,分布形状和平均资本大体保持稳定。
这有两个含义。第一,训练成本不一定主要用于不断改变稳态分布,很多计算是在早期形成基本行为策略。第二,作者后续用固定策略进行评估时,确实需要区分“训练过程中暂时性分布”与“训练完成后的稳态分布”,否则会把尚未收敛的策略误认为经济结果。
表1比较了原始实现与JaxMARL-BC在六种家庭规模下的训练时间。对于最直接可比的PPO,JaxMARL-BC的加速倍数从家庭数 (n=10) 时约75倍,升至 (n=500) 时约724倍;相对于原论文采用的SAC实现,加速幅度约为115倍至301倍。
这些加速并不全部来自JAX,因为比较同时引入了GPU。作者通过CPU版本进行拆分:JaxMARL-BC的CPU实现相对于原始实现约快94倍至179倍,GPU在 (n=500) 时又提供最高约7.7倍的额外加速。
原始实现的运行时间随着家庭数量扩大而明显增加,而JaxMARL-BC GPU运行时间只从约22秒增加到约36秒,覆盖了50倍的家庭规模变化。
图1中间部分展示吞吐量,右侧展示墙钟时间。GPU吞吐量从小规模下约 (10^4) 个代理转换每秒,随着家庭数量增加,在 (n=10,000) 附近达到约 (10^7) 个代理转换每秒,并一直维持到 (n=200,000) 左右。CPU吞吐量起点更高,但较早达到约 (2\times10^5) 个代理转换每秒的平台。
右侧运行时间图显示,原始实现到 (n=100) 左右已经超过一小时,而JaxMARL-BC在CPU和GPU上仍大致处于几十秒量级。作者进一步指出,原始实现训练约100个家庭所需的CPU时间,足以让JaxMARL-BC训练约200,000个家庭。
这个比较最有价值的地方不是单一加速倍数,而是计算规模发生了数量级变化。研究者可以从“只能训练数百个家庭”转向研究大规模异质家庭分布。
图5对家庭数 (n) 和并行环境数 (E) 各取9个值,形成81次实验,并保持相同的顺序深度。左图是吞吐量,右图是稳态运行时间。,
图像关于对角线近似对称,说明在作者的实验范围内,计算成本主要由乘积 (W=E\times n) 决定,而不是单独由家庭数或环境数决定。吞吐量随着 (W) 增加而上升,并在 (W) 接近10,000时达到约 (10^7) 个代理转换每秒的平台。
右图显示两个运行区间:
因此,使用更多并行环境或在单个环境中放入更多家庭,在这一简化成本模型下具有类似的计算效果。不过,这种对称性主要是计算层面的,并不代表两者在经济解释上等价。增加家庭数会改变单个经济体的近似程度,增加环境数则主要提高独立样本量。
图6考察资本生产率 (\kappa_i) 的对数标准差 (\sigma) 从0到0.5的变化,每个取值使用10个随机种子,共进行110次训练。,
左图显示,(\sigma=0)时所有家庭的资本生产率均为1;随着(\sigma)增加,生产率分布越来越右偏,高生产率家庭与低生产率家庭之间的差异扩大。作者通过将对数位置参数设为 (-\sigma^2/2),使总体平均生产率在不同 (\sigma) 下仍约等于1,从而隔离“异质性程度”本身的影响,而不是同时改变平均生产率。
中间的Lorenz曲线越来越偏离完全平等线。报告称,在 (\sigma=0) 时,底部80%的家庭持有约70%的总资本;到 (\sigma=0.5)时,底部80%持有的资本份额低于20%。
右图显示资本基尼系数从约0.20上升到0.72左右。正文称,当 (\sigma)达到约0.4时,基尼系数约为 (0.72\pm0.05),之后直到0.5大体进入平台期。
作者将这一结果与发达经济体约0.6至0.8的财富基尼区间进行比较,认为 (\sigma=0.4)至0.5能够使扩展后的Krusell–Smith模型更接近现实财富分布。
图7比较 (\sigma=0.40)和 (\sigma=0.50)时家庭资本回报率的横截面分布。分布明显右偏,大多数家庭的回报低于平均值,但右侧存在延伸到15%以上的高回报尾部。
随着 (\sigma)增加,回报率分布的质量更多集中在较低回报区域,同时右尾变宽,说明少数高生产率家庭获得极高资本回报。图中标示的平均回报率约为4.9%和5.6%,但平均值上升并不意味着所有家庭都受益,因为分布同时变得更加分散。
这一结果支持作者的机制解释:财富不平等不仅可能来自初始财富或劳动收入差异,也可能来自持续的资本回报率差异。需要注意的是,论文在此处展示的是模型生成的横截面分布,而不是对现实家庭资本回报率的完整统计检验。
异质性校准实验包括11个 (\sigma)取值、每个取值10个随机种子,共110次运行。每次运行使用200个家庭和12个并行环境,总计算时间约两小时。,
作者根据表1的速度提升幅度估算,如果使用原始实现完成同样实验,计算时间将超过一个月。但作者同时承认,这是一个偏保守的下界估算,因为它假设原始实现随并行环境数增加的效率与JaxMARL-BC一样好,而实际情况可能更差。
因此,本文最重要的实践贡献是把参数网格搜索和多随机种子重复实验从“几乎无法进行”变成“可以纳入日常模型开发”。不过,计算速度本身并不保证校准结果具有经济识别力,速度只是让更多模型比较成为可能。
本文没有公司现金流、资本成本、可比公司、P/E、EV/EBITDA、DCF或目标价格,因此不存在传统意义上的估值分析。论文的“价值”是计算和研究方法价值,而不是证券市场估值。其评价标准是:
本文主要验证均值场Krusell–Smith极限。虽然作者也提到检查了单家庭RBC极限,但正文重点报告的是均值场结果。恢复两个已知统计特征并不等于所有动态矩、福利结果和政策反事实都已被验证。,
所有家庭独立学习,其他家庭策略的变化会改变每个家庭面对的环境,因此缺乏单智能体强化学习中的标准收敛保证。参数共享能够稳定训练,却同时引入了家庭共享策略结构这一建模假设。
论文同时比较了不同算法、不同实现和不同硬件。PPO与PPO的比较较为直接,但SAC与PPO的比较不能完全归因于JAX,因为算法本身、优化过程和实现细节也可能影响运行时间。作者通过CPU版本进行拆分,但GPU优势仍然与软件架构共同作用。
110次校准实验“超过一个月”的估算并不是原始实现实际完成的完整复现实验,而是根据表1速度和并行环境假设外推的下界。因此,这一数字适合说明数量级差异,不应理解为精确的历史运行时间。
异质性实验主要匹配财富基尼系数和资本回报率分布。模型即使能够生成0.6至0.8的财富基尼,也不意味着它同时匹配了收入分布、消费分布、资本持有持久性、宏观波动、就业转移和跨期相关性。,
报告在P100 GPU上展示了最高约200,000个家庭的规模,但该结果依赖具体硬件、float32精度、网络结构和训练预算。更复杂的HANK、新凯恩斯模型、更多状态变量或更深网络可能产生明显不同的内存和吞吐量瓶颈。,
仪表盘将自然语言转换成YAML配置,虽然允许用户预览和编辑,但论文没有评估其配置正确率、错误率或经济参数误读风险。因此,仪表盘降低了使用门槛,却不能替代研究者对模型设定和结果的检查。
JaxMARL-BC的主要贡献不是提出一个全新的宏观经济理论,而是把MARL宏观模型的计算瓶颈大幅降低。它保留了MARL-BC与代表性RBC和Krusell–Smith模型之间的理论连接,并利用JAX将环境、策略和优化器编译成统一程序,使训练时间从数小时压缩到几十秒。,
图3和图4表明,JaxMARL-BC能够恢复资本总量的近似线性运动、合理的财富双峰分布和随财富下降的消费比例;当家庭数扩大到100,000时,聚合关系更加平滑。图1、表1和图5则表明,系统在批量宽度较小时受到启动延迟支配,在硬件饱和后运行时间随家庭—环境乘积近似线性增加。, ,
图6和图7展示了该工具在经济研究中的实际用途:提高资本生产率异质性能够将财富基尼从约0.2推高至0.7以上,并同时生成右偏的资本回报率分布。110次训练在两小时内完成,说明过去需要数周的模型比较、随机种子重复和参数搜索,现在可以成为常规研究流程的一部分。,
作者的总体判断是积极的:JaxMARL-BC能够把宏观MARL从小规模概念验证推进到大规模异质性建模和校准,并计划将其扩展到Huggett、新凯恩斯和HANK模型,同时探索SAC、端到端自动微分和基于梯度的校准方法。 然而,现阶段成果仍主要证明了计算可行性和基准模型复现能力,尚不足以证明MARL在所有宏观政策分析中已经优于传统DSGE、深度学习求解器或序列空间方法。
2610.28907.pdf