本文针对传统Actor模型难以满足高频交易低延迟要求的问题,提出面向同进程Actor的fast_send同步消息机制,并结合Actor分组、可选邮箱队列和内存池降低消息传递成本。 实验显示,fast_send往返延迟达到几十纳秒,显著优于跨线程异步路径;在CME的ES、NQ和ZN期货实时行情测试中,socket-to-book延迟由约7微秒的解码与订单簿处理底噪及包内序列化斜率构成,Actor框架自身开销低于底噪的1%。 延迟尾部主要由行情流的突发聚集、包内位置和队列积压造成,而非Actor机制;共享队列还支持同一交易策略代码在生产交易与确定性回测之间复用。
| 操作 | 竞争时行为 | 适用特征 |
|---|---|---|
| fast_send | 阻塞等待锁,检测到循环时抛出异常 | 默认同步请求,需要返回值 |
| fast_send_spin | 忙等锁,可插入CPU pause | 临界区短且有空闲核 |
| fast_send_x | 不阻塞,竞争时抛出ActorBusy | 需要有界执行时间 |
| fast_send_void | 不阻塞,竞争或循环时异步降级 | 通知、转发、流水线和广播 |
| adaptive variant | 先有限自旋,再转为阻塞获取 | 兼顾轻竞争低延迟和重竞争CPU消耗 |
| 投递方式 | 往返延迟 | 主要成本 |
|---|---|---|
| 跨线程异步send | 3.4 µs | 跨核邮箱唤醒、互斥锁和条件变量 |
| 同线程Actor group | 90 ns | 仍需邮箱入队、出队和后续调度 |
| fast_send | 约30 ns(摊销) | 接收锁、消息字段设置、handler调用和reply封装 |
| 单次fast_send hop | 约10 ns | 相比直接调用增加约10 ns |
| 优化阶段 | 吞吐或延迟结果 |
|---|---|
| 基线异步路径 | 5.5 million round trips/s |
| 采用接收端批量Drain | 8.96 million round trips/s |
| 批量Drain加MemoryPool | 13.6 million round trips/s,约74 ns/message |
| 分组发送端批处理 | 11.3 million round trips/s |
| 分组往返、关闭内存池 | 约128 ns |
| 分组往返、启用内存池 | 约92 ns |
| 未使用内存池的最大往返延迟 | 5.5 ms |
| 使用内存池后的最大往返延迟 | 33 µs |
| 负载场景 | 最优队列 | 关键结果 |
|---|---|---|
| Grouped单线程 | LockFreeMPSC | 中位数70 ns |
| 单生产者突发行情 | BQueueBatched | 584.9 ns/message |
| 32生产者扇入 | ShardedBQueue | p99为6.6 µs;BQueue为69.9 µs |
| 通用默认 | BQueue | 各场景表现均衡,尾部更稳定 |
fast_send、Actor分组、可选择的邮箱队列、内存池,以及这些机制对实时市场数据“socket-to-book”延迟的影响。这不是传统意义上的股票或行业投资研究报告,因此没有公司评级、买入/卖出建议、目标价、收入预测或估值模型。报告的“核心结论”不是某项金融资产是否值得投资,而是:对于同一进程、同一机器内的Actor,如果采用适当的实现方式,Actor模型并不必然带来无法接受的HFT延迟;在实际CME市场数据路径中,Actor框架自身的开销低于解码与订单簿更新工作量的1%,观察到的尾部延迟主要由市场数据包的聚集和队列积压造成,而不是由Actor机制造成。
报告的中心技术是fast_send。它让发送方线程直接执行接收Actor的消息处理函数,并在接收Actor的排他锁保护下完成调用,同时把返回值直接交给发送方;但接收方的处理器无需知道此次调用是同步还是异步、由哪个线程执行、发送方是否正在等待。作者将这一性质称为“接收方透明性”(receiver transparency)。
传统Actor模型通常意味着:每个Actor拥有自己的状态、消息处理器和邮箱,Actor之间通过异步消息通信,消息需要排队,随后由接收方线程调度执行。该模型可以避免共享可变状态、数据竞争和许多锁顺序死锁,但传统实现通常要承担堆分配、入队和出队、线程调度、上下文切换,以及请求—响应往返中的重复开销。
报告认为,问题不在于Actor模型本身,而在于一种特定的实现方式,即“每个Actor一个线程、每个Actor一个邮箱、每次交互都必须异步跨线程”。当两个Actor位于同一进程和同一台机器时,发送方线程理论上可以直接运行接收方处理器,而无需经过完整的异步邮箱与调度路径。
为此,报告提出四项适配:
fast_send:针对同进程Actor的同步、同线程执行路径。这一设计的关键不是把所有消息都变成同步调用,而是根据场景划分路径:网络Socket读取线程必须尽快继续读取,因此不能被同步调用阻塞;解码、订单簿更新和信号生成等连续处理阶段则适合在同一线程上使用fast_send;订单发送涉及网络写入,可能耗时数微秒,因此继续采用异步发送,以避免阻塞市场数据处理线程。
报告回顾了Actor模型从1973年Hewitt、Bishop和Steiger提出,到Agha等人建立形式语义的历史。其基本思想是:Actor拥有私有状态,只通过消息与其他Actor交互,并一次处理一条消息。
这种设计的主要优点包括:
报告还提出一个较新的假设:由于Actor代码结构规整、状态封装清晰,其可能比手写锁的共享内存代码更适合由大型语言模型自动生成和测试。不过作者明确承认,这只是设计假设,并没有对LLM生成Actor代码的正确性、性能或并发安全性进行实证评估。
传统Actor实现的缺点是,每条消息都可能涉及堆分配、邮箱同步、调度器唤醒和上下文切换。报告引用的背景数据认为,上下文切换通常需要约(10^3)至(10^4)个处理器周期,并可能污染缓存和TLB;请求—响应路径还会将这些操作重复一次。
HFT关注的不是平均延迟,而是99%、99.9%和99.99%分位数等尾部延迟,因为市场数据或订单若处理过晚,可能已经失去经济价值。因此,报告把设计目标定义为:并发层应增加极小的逐消息开销,并且不自行制造长尾,同时保留Actor的状态隔离和顺序推理优势。
表1比较了Erlang/BEAM、Akka、Orleans、CAF、SObjectizer、Actix、Pony、Swift以及分布式Actor系统在三个方面的设计:Actor如何映射到线程、是否支持请求—响应、以及发送方线程是否会直接执行接收方处理器。
报告发现,大多数成熟系统采用M:N调度,即大量Actor复用少量工作线程,而不是为每个Actor分配一个操作系统线程。这种方式更具扩展性;只有需要阻塞或强隔离的特殊Actor才可能使用专用线程。
在同步调用方面,Erlang的gen_server:call虽然会阻塞调用者,但实际请求仍然进入接收方邮箱,由接收方调度器执行;Akka、Orleans、CAF、Actix和Ray通常返回Future或Promise;Swift则在语言层面要求跨Actor访问使用await。报告声称,在所调查的主流系统中,没有发现一种机制能够在保持接收方透明性的同时,让发送方线程在接收方排他锁下直接执行处理器。
表1支持了作者的定位:fast_send并不是简单的Future接口,也不是普通对象方法调用,而是“跨线程同步执行 + 接收方排他访问 + 接收方透明性 + 循环调用检测”的组合。
表2将四项技术改动与传统Actor设计逐一对应,说明每项改动消除了哪一种同进程消息成本,同时声称不改变处理器可观察到的消息语义。
其中,fast_send直接消除异步路径的队列与调度;Actor group减少线程切换;可选择邮箱解决不同生产模式下单一队列无法兼顾性能的问题;内存池则重点降低分配器长尾,而不只是降低平均分配成本。
fast_send机制的详细解读异步send需要把消息放入接收方邮箱,通常需要保证消息在未来某个不确定时刻仍然有效,因此消息通常采用堆分配;接收方随后在自己的线程上取出消息并执行处理器,如果有回复,还要通过另一条消息返回给发送方。
同步fast_send则可以让消息位于发送方栈上,因为发送线程会一直阻塞到接收方处理完成。发送线程首先获取接收Actor的排他锁,然后将该Actor加入当前线程的调用链,直接执行处理器;处理器返回后,调用链恢复、锁释放,回复值作为普通返回值返回。
这并不等同于普通的直接方法调用。普通方法调用的对象通常没有邮箱和Actor排他执行语义;fast_send仍然把目标视为Actor,并且在同步与异步两种情况下都保证同一时间只有一个线程执行其处理器。
fast_send不会排在接收方已有邮箱消息之后。如果邮箱中已有m1、m2、m3,随后发送同步消息m4,只要锁变为空闲,m4会先执行,之后才处理邮箱中的旧消息。因此,fast_send是高优先级请求—响应机制,而不是异步send的简单低延迟版本。
这个设计带来一个重要的语义限制:需要严格FIFO顺序的调用者不能使用fast_send,而应继续使用普通send。这也是报告中一个必须注意的工程细节,因为低延迟优化实际上改变了某类消息的相对顺序。
接收方透明性由三个机制保证:
为了维持透明性,报告甚至故意让同步回复也进行堆分配,尽管同步场景理论上可以直接放在栈上。这样做牺牲了一部分性能,但避免处理器通过分配行为推断投递模式。
同步调用引入了异步Actor通常没有的循环风险。例如A同步调用B,B同步调用C,C再同步调用A。若使用不可重入锁,线程会等待自己已经持有的锁,造成死锁;若使用可重入锁,则可能无限递归并最终栈溢出。
报告采用线程本地调用链检测:异步消息开始处理时,将初始Actor放入调用链;每次fast_send在获取目标锁之前,先检查目标Actor是否已存在于当前线程调用链。如果存在,则在获取锁和执行处理器之前报告循环错误。
报告还提出更宽松的(actor, message-class)检测方式。例如,A的compute调用B的validate,B再调用A的validated,由于消息类别不同,可以被允许;但A的foo最终再次调用A的foo时仍会被检测。该模式支持更多回调结构,但也允许Actor状态被嵌套重入,因此将状态一致性责任重新交给程序员。
表3展示了统一处理器接口下的五种投递操作,它们主要区别在于目标锁竞争或检测到循环时,发送方如何行动。
fast_send:锁竞争时睡眠等待,发生循环时抛出异常。fast_send_spin:竞争时自旋,可配合CPU pause指令,适合临界区很短且有空闲核心的场景。fast_send_x:不等待,获取不到锁就返回ActorBusy,适合需要有界执行时间的调用。fast_send_void:不要求返回值,竞争或循环时退回异步队列,适合通知、转发和广播。这一设计体现了报告对“低延迟”和“鲁棒性”之间取舍的认识:没有一种同步策略适合所有调用。尤其在热门Actor上,阻塞型fast_send可能使大量发送线程停顿,反而不如异步排队;因此,异步回退比例也可以作为识别Actor过热的监控指标。
图1展示了从CME双路行情接收、数据解码、订单簿构建、信号生成到订单发送的线程架构。捕获阶段由Socket reader A和B组成两个线程;两个读取器通过异步send把数据交给Buffer队列。随后,Buffer、套利/解码、订单簿和Signal阶段在一个线程上通过多个fast_send串联。最终Signal再通过异步send把订单交给独立的Order handler线程,由其执行TCP/iLink发送。
图1的核心故事是“只在必须跨线程的地方跨线程”:Socket reader不能同步阻塞,否则在接收器处理数据时无法继续排空UDP Socket,突发期间可能丢包;Order handler也不能阻塞解码线程,因为网络写入可能耗时数微秒;中间的解码、订单簿和信号链则可以压缩为同一线程上的内联调用链。
因此,报告把关键目标从“消除所有线程”改为“让市场数据服务队列能够快速排空”。这是一种合理的HFT架构思想:输入和输出的外部IO保持异步,中间的CPU密集型短路径使用同步同线程执行。
图2展示了六类数据流的“中位socket-to-book延迟—包内位置idx”关系。横轴是消息在UDP包中的位置,纵轴是中位延迟;实线代表book流,虚线代表trade流。六条线都从约7微秒附近出发,但斜率明显不同:NQ book约312纳秒/消息,ES book约566纳秒/消息,ES trade约714纳秒/消息,ZN book约966纳秒/消息,ZN trade约965纳秒/消息。
图2说明,在不考虑邮箱排队的条件下,延迟可以近似写为:
[ \text{Latency}=\text{floor}+\text{slope}\times idx ]
其中floor是包中第一个消息的基础解码和订单簿更新成本,slope是每个前序消息带来的串行服务成本。以45条消息的包、约0.57微秒斜率为例,最后一条消息相对第一条消息要多等待约44×0.57≈25微秒。
该图直接支持报告的主要工程结论:如果要改善尾延迟,优化重点应放在每条消息的解码、订单簿修改和缓存行为,即降低slope,而不是过度优化只有几十纳秒的Actor派发成本。
图3以对数纵轴展示ES、NQ、ZN三种合约的book和trade流在p50、p90、p99和p99.9处的socket-to-book延迟。各流的中位数聚集在约7至15微秒,但高分位数明显分化,尤其是ZN trade的尾部最差。
报告给出的代表性数据是:ES book的p99约18.5微秒,ZN book约57.0微秒,ZN trade约219微秒;ZN trade的p99.9进一步达到约410微秒。相对于中位数,NQ book从中位数到p99的放大约为1.9倍,而ZN trade达到约14.2倍。
图3揭示了一个重要的风险:用单一“约8微秒”的平均或中位数描述系统,会掩盖不同数据流之间极端不同的尾部表现。对于HFT,ZN trade的p99和p99.9比中位数更有决策价值,因为策略和订单反应的最坏情况往往由这些尾部样本决定。
图4在固定包内位置idx=0的情况下,展示三种book流的中位延迟如何随解码器队列占用qlen变化。这样处理可以尽量把包内串行化影响隔离出来,观察等待中的数据包数量对延迟的影响。
当qlen=0时,延迟约为7微秒,即基础decode-and-book floor。随着qlen增加,延迟呈凸性上升:ES book从qlen=0时约6.9微秒上升到qlen=6时约16.6微秒,ZN book则从约6.9微秒上升到qlen=5时约21.7微秒。
这表明队列积压会产生真实的尾部延迟,但它是稀有事件。报告称,87%至99.7%的消息到达时队列为空,而ES book中qlen=3的样本只有0.08%,即2,311条/2,861,519条。因此,队列并不是所有消息的普遍成本,而是在极端突发时期对少数消息产生巨大影响。
表4是一个分析性表格,逐项列出异步消息路径包含的操作,以及同步路径可以消除的部分。这些操作包括堆分配、邮箱入队、邮箱出队、调度和上下文切换;在同步路径中,消息可以放在发送方栈上,处理器直接执行,回复也可以直接作为返回值传递。
对于深度为N的同步Actor调用链,报告认为上下文切换数量从异步路径的O(N)降为同步路径的O(1)。这并不意味着所有执行时间都变成常数,因为处理器自身的解码、订单簿更新和锁竞争仍会随工作量增加;它只说明线程切换数量不再随链条长度线性增加。
表5保持ping/pong和回复工作量不变,只改变投递机制,以区分线程切换、队列和内联调用的影响。主要结果如下:
fast_send时约30纳秒。fast_send跳转约10纳秒。这组结果说明,3.4微秒的主要成本不是“消息对象本身”,而是跨线程邮箱唤醒、互斥锁、条件变量和接收线程调度。Actor group消除了线程跨越,fast_send进一步消除了队列,因此相对于分组邮箱路径约有3倍改进。
需要注意的是,这些是单消息、顺序往返的延迟测试,不是高并发饱和吞吐测试;报告没有在这里证明fast_send在高竞争、多发送方或深调用链下仍能保持同样的优势。
在分组发送的往返测试中,使用通用分配器时两次分配的摊销成本约128纳秒,启用内存池后约92纳秒。更重要的是,另一组测试中最大往返延迟从5.5毫秒降至33微秒,说明内存池主要改善的是尾部,而不只是平均数。
这一结果与HFT需求高度相关,因为通用分配器偶发慢路径可能在平均值中几乎不可见,却直接破坏99.9%以上分位数。但报告没有完整披露该最大值测试的样本规模、重复次数和极端值统计方法,因此应将“两数量级尾部改善”视为特定测试设置下的结果,而不是所有平台和所有负载下的普遍保证。
表6比较BQueue、BQueueBatched、ShardedBQueue和LockFreeMPSC在三种工作模式下的表现:分组单线程、单生产者突发、32个生产者并发写入。
报告据此给出硬件和测试环境相关的选择建议:BQueue作为一般默认值;BQueueBatched用于市场数据这类单生产者突发邮箱;ShardedBQueue用于高并发写入的订单输出或聚合Actor;LockFreeMPSC虽然分组中位数最好,但尾部更不稳定,因此不作为默认实现。
这一表格的实际价值在于说明“无论什么场景都最快的队列”并不存在。队列设计必须结合生产者数量、突发程度、线程位置和尾部稳定性,而不能只看某个孤立的平均吞吐结果。
研究于2026年9月16日进行,覆盖ES、NQ和ZN三个CME期货品种的book update和trade流,共约829万条消息,观察时长53分钟。
测量使用两个软件时间戳:t0为UDP数据报从Socket读取时,t1为订单簿更新发布时,差值即socket-to-book latency。由于t0不是网卡硬件时间戳,NIC和内核接收路径耗时被排除,因此这不是严格意义上的wire-to-book延迟。
报告将延迟拆成两个部分:基础floor和包内位置带来的serialization slope。六条独立流的floor约为6.8至7.2微秒,跨不同估计方法和负载状态都较稳定。
在一次美联储声明期间,数据包速率在不同品种上提高约4.6至9.8倍,但floor最多只增加约0.4微秒,甚至在三个品种中的两个品种下降。这说明基础解码与订单簿更新路径并未随着整体包速率线性恶化,至少在该次观测区间内,Actor框架没有出现明显的负载敏感性。
报告据此认为,约7微秒的floor主要来自SBE解码和订单簿变更,而不是消息派发;fast_send每跳约10纳秒,和7微秒相比低于1%。这一比例约为10ns/7000ns≈0.14%,即使考虑多个内部跳转,仍处于百分之一量级以内。
报告把尾部归因于两个机制:
在trade流中,99.3%至99.6%的消息在同一数据包中还有前序消息,因此trade流的中位数本身就高于book流。这解释了为什么图2中trade线的斜率和图3中的尾部通常更差。
Actor group除了降低延迟,还通过共享队列建立了生产系统与仿真系统之间的统一执行模型。一个group中的所有消息进入同一共享队列,因而具有全局消息顺序;只要时间、随机数和外部输入都通过可注入服务提供,同一输入序列就能产生相同的状态转移和输出。
生产环境中,队列由Socket、定时器和实时行情源输入;仿真环境中,队列由历史录制数据或合成数据输入。策略Actor不需要修改、重新编译或添加生产/回测分支,就可以在两种模式下执行。
报告将这一机制应用于一个执行算法:该策略消费市场数据和订单事件,输出子订单消息,先在录制的CME交易时段中完成仿真验证,再不改代码地部署到生产环境,并引用了246个交易时段的滑点比较结果。不过,这一部分更多是架构案例和外部伴随研究的说明,并不是本报告对策略收益、风险调整回报或交易成本的独立验证。
fast_send在目标Actor繁忙时会让发送线程等待,多个同步发送者会在目标锁上串行化。对于高竞争Actor,异步发送虽然引入队列开销,却允许发送方继续工作,因此可能优于阻塞型同步机制。
报告提供了fast_send_x、fast_send_void和自适应版本来缓解该风险,但没有在高竞争和饱和负载下系统测量各种策略的吞吐、尾延迟及回退比例。
线程本地循环检测只能发现同步调用形成的循环,不能解决非循环但长期阻塞的情况。例如A调用B,B等待一个稀缺外部资源,A及其上游线程仍可能长时间停顿。因此,开发者仍需对资源等待、线程池容量和调用链深度进行设计。
按(actor, message-class)检测循环虽然支持回调,但可能允许同一Actor状态在一次更新尚未完成时被嵌套访问。嵌套处理器可能看到中间状态并修改它,从而重新引入传统并发程序中的重入和不变量破坏风险。
测量只在一台机器、一个53分钟交易时段和一个特定硬件/编译配置上完成,且时间戳在Socket读取处采集,不包括网卡和内核接收延迟。
报告还承认,ZN的每消息服务成本约为其他品种的三倍,但无法区分这是缓存驻留差异,还是消息类型本身更复杂;数据集中还存在若干毫秒级最大延迟,原因尚未解释。
此外,当前评估主要是顺序单消息延迟、微基准和实际路径观察,而不是饱和吞吐、多核竞争、不同消息大小、不同调用链深度下的全面压力测试。作者明确将同步与异步在各种竞争水平下的系统性比较留作未来工作。
第一,报告把“框架贡献低于1%”与“尾部不是框架造成的”联系起来,论据是fast_send约10纳秒的微基准和约7微秒的decode-and-book floor。然而,实际路径中的框架影响不仅包括单个fast_send,还包括邮箱入队、线程唤醒、内存管理、锁竞争和跨线程调度,因此“低于1%”最稳妥的解释应是:在所测试的、低队列占用且特定架构下,框架的可测贡献相对于解码和订单簿工作很小,而不是所有HFT负载下都必然低于1%。
第二,报告前文的图1展示了Buffer、解码、订单簿和Signal多个Actor通过fast_send串联,而10.1节又把实际测量描述为“Socket reader异步发送给decode-and-order-book Actor,解码和订单簿在第二线程一起运行”。这两种表述可能分别代表代表性架构与实际测量简化路径,但报告没有完全澄清图1架构中每个内部Actor是否都出现在本次8.29百万条消息的测量中,因此“微基准的每跳开销”与“实测路径中的总框架开销”之间仍存在一定映射不确定性。
第三,报告把尾部主要归因于市场数据的非泊松、强聚集到达过程,并引用正在准备中的伴随报告进一步解释。但本报告本身没有提供完整的到达过程参数、置信区间、跨交易日复现结果或尾部归因的统计检验,因此该因果判断具有合理的机制解释,却仍需更多样本验证。
第四,作者对Actor的安全性和适合代码生成的优势采取了较强的正面立场,但同时承认LLM生成代码的结论尚未测试。这部分应视为架构假设,而非已经得到金融交易系统生产数据验证的结果。
这份报告的核心贡献,是将Actor模型与一种具体的低延迟实现方式区分开来。作者认为,Actor模型的状态隔离、单消息顺序推理、数据竞争防护和故障隔离,并不要求同进程Actor之间必须经过完整的异步邮箱、线程调度和上下文切换路径。
fast_send通过在接收Actor排他锁下由发送方线程直接执行处理器,把同进程请求—响应往返降低到几十纳秒;微基准中完整往返约30纳秒、单跳约10纳秒,明显优于约90纳秒的同线程分组邮箱路径和约3.4微秒的跨核心异步路径。
表6进一步说明,队列性能取决于工作模式:LockFreeMPSC适合低竞争分组场景,BQueueBatched适合单生产者突发,ShardedBQueue适合32生产者fan-in,而BQueue是较稳健的默认选择。 图2和图4则表明,真实市场数据尾延迟主要由包内位置和少数队列积压事件决定;图3显示不同品种、不同消息流的p99和p99.9差异远大于中位数差异。
在CME实际数据路径中,socket-to-book延迟可以近似拆成约7微秒的基础decode-and-book floor,加上由包内位置决定的每消息服务斜率;该斜率从约312纳秒/消息到约966纳秒/消息不等。Actor机制本身的每跳成本约10纳秒,在测试条件下低于基础工作的1%,没有显示出对尾部延迟的可测贡献。
总体而言,报告对其测试范围内的结论是肯定的:同进程、同机器、以市场数据解码和订单簿更新为核心的HFT路径,可以采用经过适配的Actor模型。但这一结论不是对所有HFT系统或所有竞争条件的普遍保证;它依赖于合理的线程划分、邮箱选择、内存池、队列低占用和对同步阻塞风险的严格管理。报告尚未完成饱和吞吐、多线程高竞争、深调用链和更广泛硬件环境下的系统评估,因此更准确的结论是:Actor模型在一个已部署、已测量的低延迟市场数据工作负载中显示出可行性,而不是已经证明其在所有HFT场景下都优于锁、事件循环或手工共享内存方案。
2609.21173.pdf