本文提出“可验证性鸿沟”概念,认为金融智能体治理的核心约束不是模型能力,而是授权决策所需的验证证据与系统实际保留的可解释性、可复现性之间的缺口。 研究通过三项受控实验发现,供应商版本更新会改变历史金融决策并削弱回放控制;多智能体编排会形成潜在政策层,使终端结论与完整执行轨迹脱钩;即使透明、确定性的信用模型能够完美复现当前决策,也可能无法恢复历史行动。 文章据此主张实施“证据约束型授权”,只有当保留的执行证据足以支撑既定金融权限时,智能体自主行动才具有治理上的可辩护性。
| 执行环境/模型 | 案例数 | 重复执行次数 | 模态结论复现情况 |
|---|---|---|---|
| 本地 llama3.2:3b | 32 | 320 | 320/320 |
| 托管 claude-haiku-4-5-20251001 | 32 | 320 | 319/320 |
| claude-opus-5 | 32 | 960 | 959/960 |
| 配置/模型 | 结果复现率 RO | 案例区分度 DV | 精确轨迹复现 |
|---|---|---|---|
| llama3.2:3b,1个智能体 | 0.912 | 约0.32 | 0 |
| llama3.2:3b,40个智能体 | 0.875 | 0.086 | 0 |
| llama3.1:8b,40个智能体 | 约0.79 | 0.214 | 0 |
| claude-sonnet-5,1个智能体 | 0.958 | 0.749 | 0 |
| claude-sonnet-5,40个智能体 | 0.938 | 0.239 | 0 |
报告标题:《Governing Agentic AI in FinTech》(《金融科技中的智能体人工智能治理》);作者:Henry Han;机构:美国贝勒大学 Data Science and Artificial Intelligence Innovation Laboratory;日期:2026年8月;主题:金融科技场景下,能够自主拆解任务、调用工具、协调模型并执行金融行动的Agentic AI(智能体人工智能)的治理、可审计性与可复现性。
报告没有传统证券研究报告中的股票评级、目标价或财务估值,其核心研究对象是治理风险而非投资标的。作者提出的中心论点是:智能体AI进入金融业后的最大约束,不是“能不能完成任务”,而是金融机构在决策发生后能否证明它为什么这样做,并且在需要时重新构造这一决策。 作者将这一问题概括为“可验证性缺口”(Verifiability Gap):当被授予的决策权力所要求的证据,高于系统实际保留的解释性与可复现能力时,治理缺口就出现。
报告最重要的政策结论是“证据条件下的授权”:金融机构不应仅依据模型能力、当前准确率或是否存在人工审批来授予自治权,而应根据其保留的历史证据能否支持相应权力来决定授权范围。 当系统变更导致验证能力下降时,机构应补充证据留存、降低自治权限,或转为实质性人工审核。
报告将普通LLM应用与智能体AI区分开来。普通LLM主要根据提示生成文本;智能体系统则将语言模型嵌入一个更大的执行系统,包含记忆、工具、外部数据访问、执行权限和编排机制。它能够理解高层目标、拆解子任务、调用外部模型或工具、跨步骤保留状态,并在授权范围内自主行动。
因此,金融机构实际需要治理的对象,不再是单一模型,而是由以下组件组成的完整决策系统:
这意味着,一次贷款拒绝、交易下单或反洗钱处置,可能是多个模型状态、工具调用和中间判断共同形成的结果,而法律和组织责任仍然由授权该系统的金融机构承担。
报告把具体决策记为 (d),审计环境记为 (q=(v,\sigma,\tau)),分别代表验证者、证据标准和审计延迟。若授权所要求的验证程度为 (\rho_\sigma(A_d)),系统实际保留的验证能力为 (V_{dq}),则:
[ G_{dq}=[\rho_\sigma(A_d)-V_{dq}]_+ ]
其中 ([x]+=\max(0,x))。当 (G{dq}=0) 时,证据足以支持授权;当 (G_{dq}>0) 时,机构存在验证短缺。
作者特别强调,这不是模型的固定属性,而是特定决策、特定验证者、特定证据标准和特定时间间隔下的关系属性。同一系统在部署当天可能能够被内部工程师验证,但在18个月后,面对外部监管者时可能已经无法恢复历史模型、工具状态和执行条件。
验证能力由两个路线共同构成:
报告并不认为二者必须完全同时存在。在某些证据标准下,充分的解释或充分的过程重构可能部分补偿另一方;但当解释不忠实、历史过程又无法重放时,缺口才真正具有约束性。
报告用“金融领域—授权自治程度”二维框架分析风险。授权程度分为四级:
风险通常随着授权从人转移给智能体而升高,但作者也指出,低自治系统未必没有缺口。如果人工只是机械接受系统建议,那么形式上的“人在回路中”并不等于实质性监督。
报告列举的金融场景包括信用审批、交易、反洗钱、投资组合再平衡、客户服务和代理支付等。JPMorgan Chase披露其财富管理平台包含25个专门AI智能体,Visa和Mastercard也在推进智能体发起的商业和支付基础设施,说明技术已从实验阶段进入具有实际金融后果的工作流。
报告重点分析多智能体的串行依赖。一个上游智能体生成的状态如果成为下游风险判断或执行决定的实质性输入,那么上游状态的遗漏、压缩或错误就会被传递到后续环节。
例如,收入核验智能体遗漏了申请人的可变收入,承保智能体据此计算出过高的债务收入比,政策控制智能体接受该结果,最终执行智能体拒绝贷款。末端解释可能准确地说“因为债务收入比超过阈值而拒绝”,但它未必揭示这一比率本身来自上游遗漏,因此解释在局部上合理、在全链条上却不完整。
图4直观展示了这一机制:文档、核验、承保、政策控制和执行构成串行链条。随着链条延伸,解释可能遗漏上游原因;任何早期状态改变都可能改变后续步骤,因此可复现性也会下降。报告给出 (E_{d,q}(n+1)\leq E_{d,q}(n))、(R_{d,q}(n+1)\leq R_{d,q}(n)) 的方向性结论,说明在没有补偿性证据的情况下,增加实质性串行交接会使两种验证能力不增反降。
报告进一步提出“σ-可逆性”:在特定证据标准下,验证者能否依据保留记录,从最终行动和证据包中恢复具有实质意义的历史过程。
其理论结果基于数据处理不等式:串行处理不能凭空创造上游已经丢失的信息,最终行动所包含的案例信息不会超过早期状态所包含的信息,并且在每一层存在压缩时,区分能力可能随深度下降。
报告最强的理论判断是:普通意义上的“总结”通常是非一一映射,会压缩多个不同上游状态为同一个摘要,因此在不增加记录的情况下,专业化与完全可逆性不能同时实现。 若要维持可审计性,机构至少需要保存足以编码被流水线丢弃的信息,即证据包的规模应随着系统销毁的信息量增加。
这一结论的现实含义是:机构不能只保存最后的“批准/拒绝”标签,也不能只保存每个智能体的孤立日志,而必须保留能够连接所有因果关键状态的完整证据链。
报告采用三个受控研究,目标是识别机制,而不是估算整个金融行业的发生率。
研究1和研究2共使用32个构造金融案例,包括信用、交易、反洗钱和投资组合再平衡,每类8个。研究3使用FICO HELOC公开数据,共9,682条完整记录,并在1,937条严格留出样本上比较两个逻辑回归信用模型版本。
作者将“可复现性”拆成四个指标:
此外,作者引入“判决差异化” (D_V),用于识别系统是否因为对所有案例采取同一默认行动而看似稳定。
这一设计非常关键,因为“每次都给出相同答案”可能意味着系统稳定,也可能意味着系统已经失去区分不同案件的能力。
图1从“金融中的智能体AI”出发,经过“可验证性缺口”,分解为“解释性缺口”和“可复现性缺口”,再连接到七项研究命题和治理回应。
图2则展示研究设计:现象界定、理论构建和机制实验三步相连,说明作者并非试图证明所有金融机构都已出现同样程度的问题,而是通过控制实验验证“提供商变化、编排变化和模型版本变化为何会破坏验证能力”。
图5显示了受控多智能体架构:只有Retrieval、Market和Policy等第一层角色直接读取原始案例,后续Risk、Analyst、AML、Compliance、Quant、Customer和Critic只能读取已传递的报告,最终只有Decider拥有行动权限。
图6区分“节点数量”和“串行阶段数”。20个智能体配置实际包含22个节点和9个串行阶段;最大配置包含52个节点,但只有19个串行阶段。理论中的几何收缩指数是串行深度19,而不是智能体总数52。 这避免了把“规模扩大”简单等同于“风险增加”,也表明真正关键的是因果依赖链的深度和压缩程度。
四个Claude Opus版本在185天内运行32个案例。历史基准模态忠实度在第一个和第二个版本仍为1.000,但在第三、第四版本下降到0.906,即每个后续版本只有29/32个案例与最早版本一致。
五个发生变化的案例全部向更保守的方向移动:4个交易案例由“买入”变为“持有”,1个再平衡案例由“再平衡”变为“持有”。这说明版本变更不仅带来一般性“模型漂移”,还可能悄然改变机构的风险偏好。
图7a进一步显示,0.906的总体指标在两个后续版本中保持不变,但具体变化案例并不相同:部分案例恢复原判,另一些新案例发生变化。因此,单一总体忠实度指标无法告诉机构应当复核哪些历史决策。
更严重的是,提供商同时撤回了temperature、top_p和top_k控制,且从未提供随机种子。也就是说,机构不仅不能控制被审计的模型版本,还不能控制重新执行该版本所需的部分环境。
图7b说明固定seed只能控制采样过程,不能恢复变化的模型、工具返回值或上游状态。因此,seed不是完整历史重放的替代品。
表5显示,在本地模型上,当temperature为零时,1智能体和10智能体配置都实现了完美的当前结果复现;逐步移除temperature和seed后,复现能力下降。 表6的对照实验更具现实意义:本地llama3.2:3b在320次执行中复现320次,托管模型在320次中复现319次;更大型的商业前沿模型在960次执行中复现959次。
托管模型的偏差分别出现在信用案例上,并且都转向“转人工审核”。这表明偏差不是简单的随机噪声,而可能是相同事实下另一种合理判断。
图8a显示,从单智能体到10智能体,平均当前结果复现率由0.903下降到0.747;信用、交易和再平衡的复现性下降,但AML由0.850升至0.988,原因是系统几乎总是升级处理,固定动作反而更容易复现。
在temperature为零的条件下,两个架构各自在内部都完全可复现,但它们的模态判决只在32个案例中的16个相同。这意味着改变角色、拓扑、信息供应和聚合方式,就可能改变实际风险政策,即使没有正式修改政策文本。
图8b显示,多智能体配置下,32个案例和每一个阶段的记录都发生了差异,但最终判决只在25/32个案例中变化。下游智能体吸收或压缩了上游变化,造成“结果稳定、过程不稳定”。
图9进一步揭示,智能体数量从1增加到50时,结果复现率先由0.912降至0.750,随后在40个智能体时回升至0.875。但判决差异化 (D_V) 在40个智能体时跌至0.086,许多案例被映射到统一的拒绝或升级动作。
这不是系统变得更稳健,而是“输出塌缩”:系统因为不再区分案件而显得稳定。跨七种架构、1,120次执行,没有任何案例实现完整智能体输出集合的精确重复。
图10比较3B和8B本地模型。两者在40个智能体处都出现复现率回升和差异化下降;8B模型在40个智能体时的差异化为0.214,是3B模型0.086的2.5倍,但相对于自身仍下降59%。
前沿商业模型的结果也支持作者“能力不等于可审计性”的观点:其结果复现率为0.958、0.958和0.938,高于8B模型的0.844、0.802和0.802,但完整轨迹复现率仍为零,且差异化从0.749下降到0.239,降幅达到68%。 因此,更强模型买来的是更高的初始输出稳定性,而不是历史记录可审计性。
研究3比较两个冻结的逻辑回归信用模型。两者使用相同变量、模型结构、代码和决策阈值,但v2加入更多训练数据。
两者AUC几乎相同:v1为0.7901,v2为0.7899;但在1,937个留出样本中,有23个政策行动改变,历史行动忠实度为0.9881。 这说明总体排序能力相近,不代表每个案例的具体金融行动不变。
图11显示,改变行动的案例并非因为分数变化特别大,而是因为原本靠近政策阈值。案例2270中,v1给出概率0.5580,超过0.55的拒绝阈值;v2给出0.5488,降至转人工区间,分数只变化0.0092,却改变了行动。
图12将这一点可视化:两个冻结版本各自都能10/10次复现自身行动,但当前v2永远不能恢复历史v1的拒绝。
作者还对v1的历史拒绝进行了干预测试。改变“不曾逾期交易比例”“满意交易数量”和“外部风险估计”三个因素,都使历史模型概率按预期下降并从拒绝转为转人工,因此这些理由对v1具有行为忠实性。 由v2生成的解释即使忠实于当前转人工决定,也不能证明历史v1为什么拒绝申请。
报告提出的治理杠杆包括:
风险主要包括:
补充材料中的美国房贷数据进一步显示,2019—2023年六个州有2,443.9万笔申请、4,487家机构;两个政府支持企业拥有的自动承保系统每年处理77.7%至90.0%的自动化决策,HHI维持在3,786至4,834之间。52.6%的使用自动系统机构将90%以上的自动化决定交给单一系统,35.9%超过99%。这证明P7所假设的供应商集中结构确实存在,但作者没有据此证明某次供应商变更已经造成同步审计失败。
报告的优点是把“解释性”和“可复现性”统一到具体决策和授权关系中,并且主动承认实验不是行业普查。研究1只有一个提供商版本线、32个构造案例和185天观察窗口,无法区分模型行为变化与能力升级,也不能推广到所有提供商。
研究2使用研究者设计的固定串行架构、冻结工具输入和单次图遍历,未覆盖实时检索、持久记忆、自主目标分解、反复规划和自我纠错;因此其结果更适合解释“编排和压缩机制”,而不是完整生产系统的全部表现。
研究3只使用一个公开数据集、五个变量、一个逻辑回归模型和示例阈值,不能直接代表真实贷款政策,也没有检验公平放贷或真实机构更新行为。
此外,完整轨迹精确文本一致是非常严格的指标,文本不同并不必然意味着实质过程不同;报告自己也承认,精确轨迹非一致不能自动证明存在材料性过程不等价。 因此,实际治理不应要求每个字完全相同,而应判断是否保留了满足特定证据标准的“实质性等价”过程。
整篇报告的核心发现可以概括为三点:
因此,作者最终主张的不是最大化自治,也不是对所有行动强行设置人工审批,而是建立“可辩护的自治”:只有当机构仍然保留足以说明“做了什么、通过什么过程、基于什么理由以及使用了哪个历史执行环境”的证据时,智能体才应继续拥有相应的金融决策权。
2608.11344.pdf