本文研究消息流驱动的限价订单簿状态空间基础模型究竟学习了哪些市场微观结构信息。基于8.2M参数的Mamba-3模型,研究发现市场表征主要存在于递归状态中,订单流不平衡、成交量和实现波动率均可被有效线性解码,其中订单流不平衡的留出样本R²达到0.59,并能够泛化至未参与训练的股票 。进一步的消息归因显示,订单流信号依赖28—66条消息半衰期的长记忆头;因果干预能够单调改变模型对买单、成交和价格波动的预期,但状态对未来价格的预测能力较弱,下一25条消息的中间价变动R²约为0.04 。研究表明,LOB基础模型不仅记忆当前订单簿状态,还形成了可读取、可操控并能跨股票迁移的市场流动性表征 。
该研究考察仅接受限价订单簿消息流、从未直接观察订单簿快照的状态空间基础模型,是否会形成对市场动态的内部表征 。
报告标题为《Understanding the Inner Workings of a State-Space Foundation Model for Limit Order Books》,中文可译为《理解用于限价订单簿的状态空间基础模型内部机制》。作者包括 Valentin Mohl、Alexandre Bismuth、Aramis Marti-Shahandeh、Kang Li、George Nigmatulin、Jakob Foerster、Stefan Zohren、Anisoara Calinescu、Mihai Cucuringu 等,主要来自牛津大学 BOLD 实验室、哈佛大学、加州大学洛杉矶分校以及牛津大学数学、统计学和工程科学相关部门。 报告拟发表于第七届 ACM International Conference on AI in Finance,即 ICAIF ’26,会议时间为2026年11月14日至17日,地点为意大利米兰,论文长度为9页。
这不是传统券商发布的股票研究报告,而是一篇关于金融人工智能和市场微观结构的学术研究论文,因此没有股票评级、目标价、买入/卖出建议或DCF估值结论。 研究对象是一种直接根据限价订单簿消息流进行自回归建模的状态空间基础模型,核心问题不是“股票未来涨跌多少”,而是“模型内部是否形成了关于市场状态和市场动态的可解释表征”。,
论文的核心结论可以概括为四点:
因此,作者想传达的主要信息并不是该模型已经具备可靠的交易预测能力,而是它已经从纯粹的下一消息预测任务中学到了某种“市场动态世界模型”的雏形;同时,这种表征可以被读取、分析,并在一定程度上被干预。,
限价订单簿记录了不同价格层级上的买单和卖单,最优买价与最优卖价构成盘口最前端的“touch”,二者之间的差距就是买卖价差,即 spread。 市场参与者的行为以纳秒级消息流形式到达,包括订单提交、订单取消和订单成交,模型每条消息以26个 token 的区块形式接收。,
该研究特别关注订单流不平衡 OFI。OFI 本质上衡量一个观察窗口内买方与卖方订单压力的净差额,正值表示净买入压力更强,负值表示净卖出压力更强。 论文还使用了不同深度的 OFI,例如一级 OFI 只看最优买卖价层,top-5 OFI 则聚合前五档价格层;一般而言,OFI 被视为短期价格变化的重要微观结构驱动因素。,
研究使用的是 Mamba-3 状态空间模型。与 Transformer 主要依赖显式注意力机制不同,状态空间模型会在每个 token 到来时更新一个固定尺寸的循环状态,该状态携带此前消息的信息。, 模型包含13个 SSM 层,残差流宽度为256,每层有8个头,每个头的状态尺寸为 (64\times128),因此每层循环状态共有65,536个数值维度。
研究将模型内部信息分为两个位置进行探测:一是每层256维的 residual stream,二是每层展平后的65,536维 recurrent state。 这一区分十分重要,因为论文最终发现,市场动态主要存储在循环状态中,而不是传统 Transformer 解释工作通常关注的残差流中。,
模型训练使用 LOBSTER 格式的限价订单簿消息数据,但训练时移除了直接的订单簿输入,使模型只能通过消息流自行重建或推断市场状态。 训练股票包括 GOOG、AAPL、NVDA、AMZN、META、TSLA、MSFT 和 AMD,时间范围为2022年1月至2025年12月。
数据被切分为每个窗口500条消息,每条消息包含26个 token,因此每个窗口对应13,000个 token。 主要探测实验在2026年1月的 GOOG 数据上进行,测试期与训练期隔离;跨股票实验还测试其他七只训练股票,以及训练中从未出现的 JPM 和 ORCL。 全部评价样本包括2,014个窗口,覆盖20个交易日。
作者对以下市场指标进行线性或非线性探测:
探测的本质是:固定模型参数,将某个内部状态输入到一个回归器或分类器中,观察能否从该状态恢复市场指标。论文采用 (R^2) 衡量回归解码能力,(R^2=1) 表示完全解释目标变化,(R^2=0) 表示没有超过简单基准,负值则表示模型表现劣于基准。
作者特别强调,探测只能证明“某个信息存在于状态中”,不能证明模型在生成下一条消息时真正使用了该信息。 因此,论文进一步设计了因果 steering,即直接修改状态,再检查模型输出是否按该特征的经济含义变化。
由于循环状态的维度为65,536,而样本只有2,014个窗口,作者使用核形式的岭回归,而不是直接在高维空间中拟合普通回归。 模型层和正则化参数通过嵌套交叉验证选择,最终使用按交易日分组的交叉验证计算样本外 (R^2),并通过日区块 bootstrap 计算95%置信区间。
论文还设置了两个关键对照:
这种设计提升了结论的可信度,因为如果训练模型明显优于随机 twin 和盘口快照,就说明它可能确实从历史消息序列中提取了额外的动态信息。
图1展示了探测实验在 Mamba-3 中的位置。左侧是500条消息组成的输入窗口,中间是13层 Mamba-3 堆叠,作者分别从某层的 residual stream 和 recurrent state 取出表示,右侧再将这些表示输入同一个核岭回归探测器。
图中循环状态的更新形式包括对上一步状态的 carry、当前 token 的写入以及前一个 token 的写入,说明状态并非只保存最后一条消息,而是通过衰减和写入机制累积历史信息。 图1同时强调,残差流沿 token 处理路径传播,而循环状态沿时间轴跨越整个500消息窗口,因此后者更适合承载市场动态和历史订单流。
图2比较了不同市场指标在 recurrent state 与 residual stream 中的样本外 (R^2)。最显著的模式是:OFI、成交量和实现波动率几乎只能从循环状态解码,而不能从残差流解码。,
循环状态对一级 OFI 的 (R^2) 约为0.59,对 top-5 OFI 约为0.61,对成交量和实现波动率约为0.50左右,对 touch 则达到0.83。, 相比之下,残差流对 OFI、成交量和实现波动率的解码能力不超过0.06,对 touch 约为0.26。,
随机权重模型对 OFI 的表现接近0,对成交量约为0.03,而训练后模型显著提高了这些指标,说明相关表示主要来自训练而不是固定架构。, 随机 twin 对 touch 仍然可以取得约0.43,作者认为这是因为最近消息本身会部分反映当前报价,即使随机循环特征也可以从近期输入中产生一定的盘口回声。
一个重要含义是,模型内部并不是简单地保存最后一刻的盘口快照,而是对跨消息的市场状态进行了整合;尤其是 OFI、成交量和波动率,具有明显的历史累积属性。,
表1比较了训练 SSM 状态、随机权重 twin 和观察边界完整盘口快照对 OFI 的解码能力,并同时报告了普通按日交叉验证和 forward-chaining 时间序列交叉验证结果。
表1最重要的数字是:训练模型对 OFI 的 (R^2) 约为0.59,而完整边界盘口快照只有0.12,模型对 OFI 的解码能力约为快照的五倍。 这说明模型所保存的不是当前盘口的静态形状,而是过去一段时间内订单提交、取消和成交形成的净交易压力。
在不同回看窗口中,模型相对于快照基准的优势在 (W=10) 时尤其明显,模型的 (R^2) 约为0.26,而快照只有0.02。 即使使用 forward-chaining 交叉验证,OFI 的解码结论仍然成立,因此该结果不太可能完全由随机打乱时间顺序或普通交叉验证造成。
但需要注意,OFI 是一种根据真实消息流重建出的统计量,模型同样接收了这些消息,因此“能够解码 OFI”说明模型内部保留了与该统计量一致的信息,不等同于模型已经获得了未来价格预测优势。,
表2扩展考察了成交量、实现波动率和订单簿深度。 成交量和实现波动率均可以从循环状态中解码,并且显著超过随机 twin 和盘口快照基准。
深度是唯一的例外:窗口起点的旧盘口快照对观察边界深度的 (R^2) 达到0.64,而模型状态只有0.38。 这一结果具有经济直觉,因为静态剩余流动性通常具有较强持续性,而500条消息只触及了订单簿的一部分,模型未必能完整恢复尚未被消息影响的远端挂单。
表2因此揭示了模型表示的边界:对于由消息流直接驱动、需要时间聚合的变量,如成交量、波动率和 OFI,循环状态具有明显优势;对于高度持久、静态属性更强的剩余深度,旧快照反而更加有效。
图3展示了 OFI 和 touch 在13个 SSM 层上的逐层解码能力,并比较了线性、二次、RBF 核岭回归以及一层 MLP 四种探测器。
一级 OFI 的 (R^2) 在第3层附近达到约0.59,随后在中间层大幅下降,接近0,到了倒数第二层又部分恢复至约0.16。 touch 也表现出相似的层间形状,但整体水平更高,后段恢复至约0.62。
四种不同容量的探测器基本遵循同一条曲线,说明中间层的 OFI 下降并不是因为 OFI 被重新编码成非线性形式而导致线性探测失败。 在这些低解码层,训练模型甚至接近或低于随机 twin,暗示信息可能在层间被暂时压缩、转换或用于其他生成任务,而不是在整个网络中以同一种可线性读取的格式持续存在。
图4将“整个循环状态的写入贡献”和“OFI 探测器实际读取的贡献”分开分析。 对训练模型而言,最新一条消息贡献了总状态写入幅度的58%,最近50条消息合计贡献约77%,说明从总体上看,状态快照很大程度上描述当前市场状态。
但是,对 OFI 信号而言,最新消息只贡献约7%,要解释一半 OFI 信号需要最近56条消息。 在第3层,即 OFI 解码最强的层,最新消息贡献约10%,一半信息需要追溯到约61条消息;该层的8个头中,有4个头的状态半衰期在28至66条消息之间。
随机权重 twin 的 OFI 读取则高度集中在最近消息:单条消息贡献约51%,最近5条贡献约89%,且没有任何探测层头部的半衰期超过10条消息。 因此,长记忆不是 Mamba 架构自动提供的结果,而是训练过程中形成的功能性记忆结构。
这一发现是论文最具机制解释价值的部分之一:模型并非只记住“最新盘口长什么样”,而是在特定层和特定头中对一段历史订单流进行整合,从而形成可读取的订单压力变量。
作者将高 OFI 窗口的平均状态减去低 OFI 窗口的平均状态,形成 OFI 方向;成交量和波动率也使用相同的高低分位差构造方向。 然后将该方向按不同剂量加入13层的循环状态,其中 (\alpha=1) 表示完整的高低三分位状态差异。
实验使用七个剂量点,范围覆盖真实窗口在该方向上的第1至第99百分位,并设置30个打乱标签的等范数方向及一个等范数随机方向作为基准。 这样可以检验输出变化是否来自特定语义方向,而不是简单因为“把状态推得更远”。
图5展示了沿 OFI、成交量和波动率方向干预后,模型下一条消息分布如何变化。
对 OFI 而言,买入消息概率随着剂量从低到高由约0.42升至0.61,呈现近似单调关系。 对成交量而言,执行消息的概率由约0.002升至0.090,约按每单位剂量1.4倍的比例增加。 对波动率而言,沿“高波动”方向推动状态后,下一价格预测的 perplexity 扩大约九倍,表示模型对下一价格档位的预测分布明显变宽。
训练得到的三条响应曲线在每个剂量点都位于30个打乱标签方向的范围之外,说明变化并非一般性的状态扰动,而是与具体特征方向有关。 不过,波动率实验中大剂量的随机或打乱方向本身也会增加 perplexity,作者认为这是因为状态被推入模型训练中较少见的区域;因此,波动率结果相较 OFI 和成交量更容易受到分布外干预的影响。
作者还让模型从被干预的状态自由生成50条消息,再将生成消息送入撮合引擎,以观察内部信念能否转化为实际订单簿路径。,
成交量 steering 的效果最强:中位成交量从未干预时的25股增加到 (\alpha=2.4) 时的187股,在 (\alpha=-2.1) 时降至1股。 OFI steering 可以改变生成订单流的方向,尤其在卖方推动时较明显,但中间价仍处于随机基准区间,仅呈现微弱卖方漂移。 波动率 steering 则没有稳定改变生成路径中的实现波动率。
这说明“可解码”与“可控制”不是同一概念:成交量最容易被内部状态控制,OFI 次之,波动率最弱。 其原因可能是单条成交消息可以直接改变成交量,而波动率需要多条消息在更长时间内共同形成,状态中的波动率信念不一定足以控制完整的生成轨迹。
作者进一步冻结观察边界的状态,直接预测之后真实市场数据中的未来中间价变化和未来 OFI,而不让模型自行滚动生成。 这是一个重要区分,因为该实验测试的是状态中是否含有未来信息,而不是模型在自回归模拟中能否制造类似的市场路径。
结果显示,状态对未来25条消息的中间价变化只能解释约4%的方差,对未来 top-5 OFI 最多解释约5%,超过100条消息后基本没有显著信号。 对未来中间价而言,状态的表现与 L10 盘口快照接近,后者在25条消息 horizon 上的 (R^2) 为0.036;但对未来 OFI,盘口快照几乎没有信号,(R^2) 不超过0.013。
这意味着模型当前状态确实知道“当前订单流是什么”,但并不特别擅长知道“未来订单流会是什么”。换言之,论文证明的是内部市场状态表示,而不是强大的 alpha 预测能力。
图6分别展示了三分类方向预测,即下跌、横盘和上涨,以及对应的 macro-F1。 在短 horizon 下,三分类准确率较高,但主要原因是大多数窗口中间价不动,单纯预测“flat”也能取得较高准确率。
因此 macro-F1 更有解释力。状态在10、25和50条消息 horizon 上的 macro-F1 分别为0.33、0.36和0.42,高于盘口快照的0.28、0.27和0.38,也高于随机 twin 的0.28、0.23和0.37。 但到100条消息时优势缩小,从200条消息开始,盘口快照达到或超过状态表现。
在只保留实际发生中间价变化的窗口中,模型在25条消息 horizon 上的二分类方向准确率为61.2%,50条消息为60.0%,明显高于约50%的随机基准,但基本与盘口快照的61.8%和60.9%相当。 这一能力在100条消息降至57.8%,200条消息降至53.0%,500条消息时回到随机水平。
因此,状态可能包含短期订单流和价格方向信息,但其预测优势有限,且不能支持较长时间尺度上的可靠市场方向判断。
图7追踪了训练不同阶段的 touch、一级 OFI、top-5 OFI 解码能力以及 LOB-Bench 得分。 touch 在训练早期迅速出现并较快趋于平台,而 OFI 解码能力从接近随机状态开始,随着训练持续推进而不断提高。
一个值得注意的现象是,交叉熵损失和 LOB-Bench 生成性能在训练约三分之一阶段后已经基本平台化,但 OFI 的内部解码仍持续改善。 这说明外部生成指标达到平台,并不代表模型内部表示已经停止发展;继续预训练可能进一步强化模型对订单流的编码。
这也提示,只看传统预测或生成基准可能低估模型内部表征质量,因为一个模型的外部输出性能不再明显改善时,其内部状态仍可能变得更结构化、更具可解释性。
图8比较了十只股票上的 touch 和 OFI 解码能力,黑色短线表示随机权重 twin,虚线将训练内股票与 OOD 股票分开。,
touch 在全部八只训练股票以及从未训练过的 JPM 和 ORCL 上都可以被解码,说明模型至少学到了一种跨股票共享的盘口价格表征。 一级 OFI 的原始 (R^2) 则波动较大,大多数股票在0.26至0.60之间,但 META 和 MSFT 接近0,而盘口快照在十只股票上大约稳定在0.14,随机 twin 不超过0.04。
该结果体现出论文结论的两面性:touch 的泛化较稳定,OFI 的泛化虽然存在,但原始 (R^2) 对个别股票非常敏感,不能简单宣称模型在所有股票上都以同样精度表示订单流。
图9将股票间 OFI (R^2) 的差异与极端窗口的方差占比联系起来。 横轴是 OFI 目标变量方差中由最极端1%窗口贡献的比例,纵轴是原始样本外 (R^2)。训练股票之间呈现强烈负相关,拟合线 (R^2) 约为0.94,Spearman 相关系数为0.93,(p=0.002),而两只 OOD 股票大约比拟合关系低0.15。
作者的解释是,线性探测器能够较好地恢复一般窗口中的 OFI 排序和变化,但难以恢复极端订单流爆发的巨大幅度,因此极端事件占总方差越高,原始 (R^2) 就越低。
为解决重尾问题,作者采用两种稳健指标:一是 winsorization,将上下1%的极端 OFI 截断;二是 rank (R^2),把 OFI 替换为其样本排名,以衡量模型是否能正确排序,而不是是否精准恢复极端幅度。 使用这两种指标后,所有股票的一级 OFI (R^2) 都超过0.4,top-5 OFI (R^2) 约为0.5,且训练内与 OOD 股票之间的差异明显缩小。
这一分析增强了跨股票泛化结论,但也揭示原始 (R^2) 对尾部样本极其敏感;因此,论文关于“模型学到一般性订单流表示”的结论,在使用尾部稳健指标时比使用未经处理的原始 (R^2) 更有说服力。
本文没有股票估值、目标价、盈利预测、DCF、P/E、EV/EBITDA 或可比公司分析,因此不存在传统意义上的估值区间或敏感性分析。,
如果从技术应用角度理解“价值”,作者提出了两类潜在用途:
不过,这些是研究展望而不是经过交易成本、滑点、容量、风险调整收益或实盘稳定性验证的商业结论。,
OFI 的原始解码能力在不同股票间差异很大,主要原因是极端1%窗口对方差贡献不同。 这说明模型可能能识别一般订单流方向,却不能准确表示极端冲击的幅度,而金融市场中最重要的风险往往恰恰来自极端事件。
虽然模型测试了 JPM 和 ORCL,但 OOD 股票的 OFI 表示仍低于部分训练股票,且图9显示两只 OOD 股票相对训练股票拟合关系存在约0.15的偏差。 因此,跨股票泛化不能等同于跨市场、跨交易所、跨制度或跨危机时期泛化。
线性探测只能证明信息可以从状态中恢复,并不能证明原模型生成下一消息时依赖该信息。 作者通过 steering 缓解了这一问题,但 steering 本身是外部施加状态方向的干预,未必等同于模型在正常运行中自然使用该方向。
下一消息的 teacher-forcing 实验显示了清晰的单调响应,但在自由生成并通过撮合引擎回放时,成交量控制明显、OFI 控制有限、波动率控制几乎消失。 这说明局部 token 概率层面的因果作用,经过多步采样、订单簿反馈和撮合过程后可能迅速衰减。
主要因果读出固定了真实未来消息,因此测量的是模型对未来消息的信念变化,而不是干预后真实订单如何到达市场。 撮合引擎回放虽然允许生成消息真实改变订单簿,但没有真实市场参与者的订单到达,且带有采样和回放方差。 因此,两类实验都不能完全替代真实市场中的反身性反馈。
模型对未来25条消息的中间价变化仅解释约4%的方差,且其表现与盘口快照大体相当。 二分类方向优势也在100至500条消息范围内逐渐消失。 因此,论文不支持将该内部状态直接视为可交易 alpha,至少报告没有提供交易收益、成本、风险调整表现或实盘回测证据。
论文最强的部分是实验链条比较完整:它不仅做了探测,还使用随机 twin、盘口快照、时间序列交叉验证、bootstrap 置信区间、逐层分析、消息归因和因果 steering 进行交叉验证。, 这使“循环状态中存在订单流表示”这一结论具有较强说服力。
但“world model”这一措辞需要谨慎理解。模型确实编码了当前市场动态,且沿特定方向干预会改变相关输出,但它对未来市场的预测能力较弱,波动率 steering 在自由生成中也未能稳定转化为更高实现波动率。 因此,更稳妥的说法是模型形成了局部、可读取、部分可干预的市场状态表示,而不是已经形成了完整、可靠的市场世界模型。
报告还存在一个需要注意的指标层面细节:原始 (R^2) 对重尾 OFI 极端值非常敏感,股票间差异可能部分来自目标变量分布,而非模型真正学到的能力差异。 作者通过 winsorized (R^2) 和 rank (R^2) 处理了这一问题,但这也意味着原始 (R^2=0.59) 与其他股票的低 (R^2) 不能在未考虑尾部分布的情况下直接横向比较。
此外,深度实验中,边界盘口快照不能直接作为深度基准,因为它本身包含目标变量;作者因此使用窗口起点的旧快照作为深度比较对象。, 这是合理的控制,但也说明不同目标使用的 baseline 信息时点并不完全一致,解读时需要避免将所有 (R^2) 进行机械比较。
综合全文,研究证明了一个仅根据消息流训练、从未直接看到订单簿快照的8.2M参数 Mamba-3 模型,能够在循环状态中形成较为明确的市场微观结构表示。, 其中,touch 的解码能力达到约0.83,一级 OFI 约为0.59,成交量和实现波动率约为0.50,而这些动态指标在残差流中几乎不可读。,
图表进一步揭示,OFI 并非由最新消息单独决定,而是在浅层网络的长记忆头中由过去约数十条消息整合而成;最新消息只贡献约7%的 OFI 读出,约56条消息才能解释一半 OFI 信号。 这种长记忆结构在随机权重模型中不存在,说明它是训练形成的功能性机制。
模型还表现出一定跨股票泛化能力,特别是 touch 在训练股票和 OOD 股票上都能解码;OFI 的原始表现虽然波动较大,但在控制极端尾部后,训练内外股票的表示更加一致。, 因果 steering 证明这些表示并非完全无关紧要:沿 OFI、成交量和波动率方向干预,会使下一消息概率按照相应经济含义单调变化。,
然而,论文同时明确展示了模型能力的边界:状态对未来价格和未来订单流的预测信号较弱,长期方向预测接近或退化为盘口快照水平,且局部的内部控制在多步自由生成中会显著减弱。, 因此,作者总体立场是积极但审慎的:LOB 基础模型不应只被视为黑箱市场模拟器,也可以被视为能够读取和干预的市场表示引擎,但其解释性、泛化能力和情景控制能力仍不足以直接替代真实市场验证或构成成熟交易策略。
2610.28753.pdf