本文提出StableEval Arena,一个面向稳定币价格稳定性风险预测的成本感知智能体评测基准。系统基于30日小时级历史窗口,预测未来7日USDT、USDC和DAI的稳定、观察或压力状态,并同步评估预测质量、压力事件召回、持续脱锚漏报、校准、结构化输出可靠性、延迟、Token消耗和推理成本。研究设置包含120例压力增强验证集与507例自然分布评测集,结果显示智能体能够稳定生成有效JSON并完成统一协议,但在21个真实压力案例中漏检19例,尚未形成可靠的罕见压力和持续脱锚识别能力。在自然分布数据上,简单机器学习基线的Macro-F1达到0.4019,高于所有智能体,说明程序执行可靠性与金融风险识别能力之间仍存在明显差距。
| 系统或基线 | Accuracy | Macro-F1 | Balanced Accuracy | Stress Recall |
|---|---|---|---|---|
| Nanobot | 0.442 | 0.351 | 0.393 | 0.095 |
| LangGraph | — | 0.337 | — | — |
| Hermes AI | — | 0.321 | — | — |
| EvoAgentX | — | 0.272 | — | — |
| NanoClaw | — | 0.328 | — | — |
| OpenClaw | — | 0.318 | — | 0.095 |
| Historical Persistence | — | 0.285 | 0.300 | 0.333 |
上述表格中的数值来自120例压力增强验证结果,未披露的指标不作推断。
| 系统或基线 | Macro-F1 | Balanced Accuracy | Stress Recall | Missed-Depeg Rate |
|---|---|---|---|---|
| Simple ML/logistic | 0.4019 | 0.4930 | 0.3810 | — |
| Historical Persistence | 0.3867 | 0.4500 | 0.3333 | 0.6667 |
| LangGraph | 0.3044 | 0.4404 | 0.0476 | — |
| NanoClaw | 0.3041 | 0.4352 | 0.0476 | — |
| Hermes AI | 0.3011 | 0.4328 | 0.0952 | — |
| Nanobot | 0.2874 | 0.4275 | 0.0952 | — |
| EvoAgentX | 0.2626 | 0.4138 | 0.0476 | — |
| OpenClaw | 0.2485 | 0.4032 | 0.0476 | — |
上述表格汇总了文中明确披露的507例自然分布评测指标,未披露的Missed-Depeg Rate不作补充估计。
| 评测变体 | 最佳Macro-F1 | 最佳Stress Recall | 成本特征 |
|---|---|---|---|
| Raw first-pass | 0.301 | 0.000 | 基准成本 |
| Calibrated first-pass | 0.351 | 0.095 | 不增加额外调用 |
| Verifier raw | — | 0.143 | 提高成本 |
| Verifier calibrated | 0.349 | 0.143 | Nanobot总成本升至0.978美元 |
表中未披露的Verifier Macro-F1不作推断,Verifier的成本变化和Stress Recall提升来自文中消融结果。
报告标题为 《StableEval Arena: A Cost-Aware Agentic Benchmark for Stablecoin Price Stability Prediction》,中文可译为《StableEval Arena:面向稳定币价格稳定性预测的成本感知型智能体基准测试》。作者包括 Sean Wan、Dongping Liu 和 Luyao Zhang,分别来自杜克昆山大学与 Tenorshare。提供的原文没有明确列出正式发布日期,因此无法据此确认报告的出版日期;报告主题则十分明确,即评估由大语言模型驱动的智能体系统,能否在有限历史数据、固定成本和严格输出协议下识别稳定币脱钩风险。
这不是一份传统意义上的稳定币投资研究报告,也没有股票或代币评级、目标价、DCF估值或投资建议。它本质上是一份人工智能评测与金融风险监测方法论研究,研究对象是 USDT、USDC 和 DAI,核心问题是:智能体是否能够根据过去30天的价格、成交量及市场环境数据,预测未来7天稳定币会保持稳定、进入观察状态,还是发生较严重的价格脱钩。,
报告的中心结论可以概括为“程序可靠性不等于金融风险可靠性”。六个被测智能体基本都能够按照提示完成任务、返回有效JSON,并以相对可控的成本运行;然而,它们对罕见但后果严重的压力事件和持续脱锚事件的识别能力仍然很弱。,
报告因此反对单纯依据准确率对智能体排序。在507个自然分布案例中,441个属于稳定类别,稳定样本占比约87.0%,这意味着一个“永远预测稳定”的系统也能取得很高的表面准确率,却可能完全无法发现真正的脱锚风险。, 报告主张同时考察 Macro-F1、平衡准确率、压力事件召回率、漏报脱锚率、概率校准、最大偏离误差、JSON有效率、延迟、Token消耗和推理成本,从而把“预测效果、运行可靠性和资源成本”纳入同一个信任worthiness框架。,
报告首先强调,稳定币风险监测的对象并不是普通加密货币的价格方向预测。稳定币的核心承诺是维持接近1美元的价值,因此真正重要的问题是判断其“是否仍然稳定、是否进入预警、是否面临压力”,而不是预测未来每一个小时的完整价格路径。,
稳定性不仅由历史价格决定,还取决于储备或抵押品质量、赎回机制、套利通道、交易流动性、用户信心、治理结构和监管安排。一个稳定币可能在正常市场中长期贴近1美元,但在流动性骤降、赎回受阻或市场信心恶化时迅速进入风险状态。 这解释了为什么作者认为仅依赖价格和成交量的输入具有现实价值,但不能完整覆盖储备、赎回、跨链流动性、预言机和治理风险。
StableEval Arena考察的并不是一个经过专门训练的时间序列模型,而是能够读取有限证据、进行推理并提交结构化判断的智能体系统。每个案例包含:
这种设计的优点是可复现、可控和具有时间因果顺序。智能体只能看到观察时点以前的信息,未来标签和未来价格不进入提示词,因此避免了直接数据泄漏。, 不过,压力增强样本的构造依赖隐藏未来标签进行筛选,虽然这些标签不展示给模型,但这会使120案例测试集不再代表自然发生概率,因而更适合诊断而不是估计真实部署表现。
报告设计了两个互补的数据区块:
120案例区块解决的是“如果压力案例足够多,智能体能否识别它们”;507案例区块解决的是“在真实的稳定类别占多数时,智能体是否仍然具有风险敏感性”。二者不能简单合并为一个排行榜,否则压力富集带来的改善可能被误认为是自然部署环境中的普遍优势,或者稳定类别占比带来的高准确率可能掩盖严重漏报。,
所有系统使用相同的提示词合同、相同的严格JSON格式、相同的评估器和同一个基础模型配置,即通过OpenRouter调用 qwen/qwen-2.5-72b-instruct,温度设为0,关闭网页浏览,并要求系统只使用30天回溯窗口中的证据。
统一协议强化了可比性,但也意味着结果主要反映“不同平台如何组织和执行同一个Qwen模型”,而不是六个完全独立的大模型之间的能力差异。原文也明确指出,Nanobot、LangGraph、Hermes AI和EvoAgentX属于原生或框架级智能体;OpenClaw和NanoClaw则是适配器式执行,因为无法验证其本地CMDOP执行。,
图1将系统分为数据、协议、智能体执行和输出四个层次。左侧先从OHLCV、成交量、市值及资产集合构造特征,再分别生成120案例和507案例;中间设置30天回溯窗口、隐藏168小时预测期、泄漏防护和严格JSON合同;右侧由六个智能体及非智能体基线生成预测;底部则执行解析、指标计算、成本记录、压力诊断和最终报告输出。
该图的重要含义是,作者不把智能体单独视为“黑盒预测器”,而是将数据冻结、提示词、运行器、原始输出、成本日志和评估器都纳入实验对象。换言之,报告评价的是一个可审计的端到端风险评估流程,而不仅是最终标签是否正确。
图2进一步展示了输入、方法和输出的对应关系。输入包括两种案例区块、目标稳定币、30天回溯、风险特征、BTC/ETH背景、智能体系统和基线模型;方法层包括提示词数据包、严格JSON、统一协议、Qwen后端、标签校准和指标引擎;输出则包括分组排行榜、压力审计、120与507案例对齐、成本延迟、日志哈希和论文图表。
图2说明报告的研究重点不是单一性能分数,而是多个维度之间的协调。例如,一个系统可能有较好的Macro-F1,但成本高、延迟长或压力召回低;另一个系统可能输出极其稳定,却无法识别重大脱锚。作者试图用多维度结果避免把一个指标误读成总体可信度。
表1比较Nanobot、LangGraph、Hermes AI、EvoAgentX、OpenClaw和NanoClaw,维度包括系统角色、部署接口、记忆与持久化、编排方式以及控制和安全特征。
这张表的分析价值在于,它把“智能体平台”拆成了若干工程属性,而不是只列出名称。Nanobot、LangGraph、Hermes AI和EvoAgentX代表原生或框架级系统;OpenClaw和NanoClaw则作为适配器比较对象。由于后两者并非经过相同的原生执行路径,报告在结果中单独标注其执行模式,这是必要的公平性处理。,
表2是报告的核心结果表。它同时呈现准确率、Macro-F1、平衡准确率、压力召回率、漏报脱锚率、JSON有效率和单位案例成本,并明确指出:准确率在稳定类别占优时只是背景指标,Macro-F1、平衡准确率、Stress Recall和MDR才是主要信任worthiness指标。
在120案例区块中,历史持续性基线的Macro-F1为0.285、平衡准确率为0.300;Nanobot表现最好,准确率为0.442、Macro-F1为0.351、平衡准确率为0.393。LangGraph、Hermes AI、NanoClaw、OpenClaw和EvoAgentX的Macro-F1分别为0.337、0.321、0.328、0.318和0.272。由此,六个智能体中有五个在Macro-F1上超过历史持续性基线,但这并没有转化为压力事件识别优势。
在507案例区块中,永远预测稳定的基线达到0.870准确率,却对watch和stress的召回率均为0;简单机器学习/逻辑回归基线获得0.4019 Macro-F1、0.4930平衡准确率和0.3810压力召回率,成为总体最强基线。表现最好的智能体是LangGraph,Macro-F1为0.3044、平衡准确率为0.4404;NanoClaw和Hermes AI紧随其后,但所有智能体均未在Macro-F1上超过简单逻辑回归。
这些数据揭示了两个层面的结论:校准后的智能体在压力富集环境中可能改善三分类总体平衡,但在自然分布中仍不如简单机器学习基线;而高准确率并不代表高风险识别能力。
图3同时绘制Macro-F1、平衡准确率和压力召回率,并以历史持续性基线的Macro-F1作为虚线参照。图中最直观的现象是,Nanobot的Macro-F1最高,LangGraph次之;但是粉色的压力召回条普遍很短,历史持续性基线反而在压力召回方面更高。
因此,图3支持报告的核心判断:智能体可以在stable、watch之间形成更有区分度的判断,但对最严重的stress类别仍然缺乏稳定识别能力。排行榜若只按照Macro-F1排序,就会把“整体分类略好”和“能够及时发现重大脱锚”混为一谈。
图4比较Raw、Calibrated、Verifier Raw和Verifier Calibrated四种配置。原始输出下最佳智能体Macro-F1约为0.301、压力召回为0;经过标签校准后,最佳Macro-F1升至0.351,压力召回升至0.095;加入风险验证器后,最佳压力召回可升至0.143,但最佳Macro-F1为0.349,略低于普通校准结果。,
校准规则并没有重新调用模型,也没有改变模型原始概率或最大偏离预测,而是把已有的连续风险估计映射为stable/watch/stress标签。因此,校准的改善说明部分损失来自标签决策边界,而不一定完全来自输入信息不足。,
验证器则增加了一次风险审计调用,Nanobot总成本从校准首轮的0.345美元上升至0.978美元。图4所示的成本上升与压力召回提升形成明显交换关系:更高成本可以提高少量压力敏感性,却未能彻底解决漏报问题。
图5以总成本和平均延迟为横轴、Macro-F1为纵轴比较六个智能体。Nanobot位于较低成本且较高Macro-F1区域,表现出相对较好的成本—效果组合;LangGraph的Macro-F1接近较高水平,但成本和延迟也明显更高。
这张图支持作者的成本感知观点:如果只看最高分,LangGraph可能具有竞争力;如果考虑反复查询大量资产和时间窗口的运营场景,Nanobot的单位成本和延迟更有吸引力。但图中仍未显示压力召回能够同步改善,因此“成本效率较好”不能等价于“金融风险监测更可靠”。
图6显示,在507案例中,简单逻辑回归的Macro-F1和压力召回均高于所有智能体,并以其Macro-F1作为虚线基准。智能体的平衡准确率大致处于0.40至0.44区间,但Macro-F1低于逻辑回归的0.4019。,
图6最重要的视觉信息是,智能体并没有因为具备自然语言推理、工具编排或复杂执行框架而自动超过简单模型。对于特征结构相对明确、稳定类别占优的任务,一个低复杂度的监督式基线可能更有效。
图7显示,校准能够提高507案例中智能体的最佳Macro-F1、平衡准确率和压力召回,而且不增加总成本,因为它只是重新映射已经返回的概率和偏离幅度。,
但这里应当谨慎理解“校准改善”。它改善的是最终分类标签,不意味着模型对未来价格、真实最大偏离或严重事件的原始预测能力发生同等幅度的提高;报告也说明校准不会改变概率、最大偏离、Token、延迟和成本。
图8显示,507案例扩大后,各智能体仍能保持运行,但自然稳定类别占优使得简单基线在Macro-F1上更难被超越。LangGraph具有较高的Macro-F1,但也对应更高的延迟和成本;Nanobot、Hermes AI等系统在成本和性能之间更为适中。
该图体现了报告所谓的“规模测试”含义:随着案例数量从120增加到507,评测重点从快速诊断转向全池运行可靠性和实际资源消耗。
附录表3是术语和数学符号表,表4说明数据集和案例构造,表5定义stable/watch/stress与脱锚标签,表6记录智能体平台元数据,表7记录计算环境。, 这些表共同回答“数据是什么、标签如何定义、系统如何执行、计算资源如何配置”,但提供的文本只给出了表题和说明,没有展示完整单元格,因此无法进一步核验每个字段的具体值。
表8和表9分别汇总120案例的分类风险指标、连续误差、可靠性、延迟、Token和成本;表10至表14集中呈现校准规则、验证器规则、压力事件TP/FN审计、消融结果和完整排行榜。, , , 表15至表20对应507案例的同类结果,包括自然分布摘要、原始与校准对比、严格持续脱锚审计以及完整基线排行榜。,
表21比较120与507两个区块,表22报告匿名化实验,表23则是可复现性文件清单。, 由于原文摘录没有给出这些表的完整数值,能够可靠解读的主要是正文和图表披露的汇总数字,而不能据此臆测未展示的MAE、RMSE、Brier分数、延迟或Token细项。
Macro-F1是三个类别F1分数的平均值,能够避免稳定类别过大而掩盖watch和stress表现;平衡准确率则是各类别召回率的平均值。压力召回率专门衡量真实stress案例中被成功识别的比例;漏报脱锚率MDR则针对严格持续脱锚事件,二者并不等同于“1减去压力召回率”。,
报告还使用Brier分数评价概率预测,使用MAE和RMSE评价预测最大价格偏离的误差,并记录结构化输出有效率、失败率、延迟和Token成本。, 这些指标体现了金融风险监测中不同错误的非对称性:把一个稳定案例误报为stress可能增加运营成本,但漏掉一次持续脱锚可能导致结算、清算或抵押品估值问题。
校准环节基于模型返回的脱锚概率和最大偏离预测,将连续值转换成最终分类。其优点是无需增加模型调用即可改变风险阈值;其局限是无法创造输入中不存在的信息,因此只能改善决策边界,不能根治对储备、赎回流动性、预言机或治理冲击的不可见性。,
最值得重视的是507案例中的压力审计。21个真实stress案例中,六个智能体合计只捕捉到其中2个,漏掉19个;没有任何智能体将漏报脱锚率降到1.0000以下,而历史持续性基线的报告值为0.6667。
严格持续脱锚审计只包含3个案例,定义为至少持续3小时、偏离达到或超过100个基点。由于样本只有3个,每漏掉一个案例就会使指标变化约0.333,因此该指标具有很强的离散性,不能被当作稳定的总体估计,但它仍然是重要的风险警示。,
报告还指出,匿名化实验的最大标签变化率为0.333,平均概率变化幅度为0.017至0.062。这说明真实稳定币名称和日期可能对模型判断产生一定影响,但尚不足以证明整个结果主要由模型记忆驱动;作者将其视为可复现性警示,而不是协议失败。
本报告不存在传统估值章节,也没有DCF、股利折现、可比公司市盈率、EV/EBITDA、净资产估值或稳定币目标价格。原因在于报告评估的是AI风险监测系统,而不是对某个发行人、交易所或稳定币进行投资估值。报告所称的“成本”是API Token推理成本,不是资产价格或企业价值。,
因此,读者不应把Nanobot或LangGraph的排名理解为投资评级,也不能把预测概率直接解释为某种稳定币的收益率或价格目标。研究结论只涉及智能体在既定数据、时间窗口和模型后端下的风险分类能力。
报告明确承认以下主要风险:
报告最大的优点是明确区分了“总体分类表现”和“严重风险识别”,并同时使用压力富集测试与自然分布测试。它没有把智能体表现略高于某个基线就宣传为能够部署,反而强调六个系统都无法可靠捕捉罕见压力,这是相对克制的结论。,
不过,120案例的压力富集设计也会改变类别先验,因而其Macro-F1改善不一定能外推到真实市场发生频率。另一方面,507案例虽然更接近自然分布,却仍然只有21个stress案例,且历史样本未必覆盖未来的制度、流动性和监管环境。,
报告中“智能体在120案例中改善Macro-F1”和“简单机器学习在507案例中胜出”并非矛盾,而是同一系统在不同类别分布下的表现。类似地,历史持续性基线在压力召回方面优于多数智能体,但在整体三分类Macro-F1上不一定占优,说明单个指标排序可能产生完全不同的结论。,
最后,报告将结果延伸到自动支付授权、结算最终性、SLA、税务和监管责任等行业问题,这些讨论具有启发性,但并不是当前实验直接验证的对象。现有实验只验证价格稳定性风险分类,尚未验证智能体在支付暂停、资金路由、争议处理、税务归类或结算责任分配中的实际决策效果。,
StableEval Arena构建了一个相对完整的稳定币智能体评测框架:以30天历史数据作为可见证据,以未来7天作为隐藏目标,同时比较120案例压力富集区块和507案例自然分布区块。 它不仅看预测是否正确,还考察结构化输出是否有效、运行是否失败、耗费多少Token、响应是否及时,以及模型是否能够识别少量但高后果的stress和持续脱锚事件。,
图表和主结果共同表明,Nanobot在120案例中取得最高的智能体Macro-F1,LangGraph在507案例中成为智能体中表现最佳者,但简单逻辑回归在自然分布中仍然超过所有智能体。校准能够无额外调用地改善分类指标,验证器能够进一步提高少量压力召回,却需要明显增加成本。, , ,
最关键的负面发现是,六个系统虽然能够稳定地返回有效JSON,却在21个真实stress案例中漏掉19个,并且没有任何智能体显著解决严格持续脱锚问题。 因此,作者总体立场不是“当前智能体已经可以承担稳定币风险监控”,而是“一个成本感知、可复现、可审计的基准能够揭示当前系统距离金融级可信监测仍有多远”。报告的最终价值主要在于建立评估标准和暴露失败模式,而不是提供投资评级或证明某个智能体已经具备生产部署能力。
2609.18949.pdf