本报告系统梳理了以 foundation model 为核心的代理 AI 系统在多轮执行中的内在随机性来源及其放大效应,强调 token 采样是最直接的随机源,同时外部环境、部署基础设施亦会引入变异,系统区分解码层、模型输出层、代理动作层及业务流程层的变异与后果,便于在实际场景中进行追踪和治理 。通过提出在固定权重、确定性解码、以及环境固定等条件下实现可重复性的诊断框架,帮助组织在设计、测试和运营阶段评估变异是否可控、可重现或仅分布式衡量
以下为对 The Token Not Taken: Sampling, State, and the Stochasticity of AI Agents(2026 年 7 月 3 日,Muhammad Zia Hydari、Raja Iqbal 等)这篇关于“代理型人工智能系统中的随机性、状态与采样”的极其详尽分析。分析覆盖元数据、章节解读、图表解读、估值无关的金融性内容之外的技术要点、潜在偏见及对实际治理的启示。文本中各处若从原文得出具体结论或推断,均在句末给出溯源标识 [page::页码],多页引证以逗号分隔。
元数据与概览
标题与主题
标题:The Token Not Taken: Sampling, State, and the Stochasticity of AI Agents
主题:对“代理型 AI 系统”在不同运行之间为何会呈现差异的分析,聚焦二层及以上的变异来源(采样、环境、服务等),并明确区分解码(token 级采样)与外部系统(工具、环境、服务等)的影响,以及如何通过可追踪、可重复的实验与治理来理解和控制这种变异。
作者与机构
Muhammad Zia Hydari、Raja Iqbal,作者单位包含 University of Pittsburgh 与 Ejento AI,电子邮箱等信息在论文首页给出。该论文定位为面向信息系统研究与管理层的理论与实证性教程,旨在澄清“ stochasticity 的含义”和“可重复性边界”的若干关键问题。
日期、对象与核心信息
日期:2026 年 7 月 3 日
核心信息:代理型 AI 的行为随机性来源多层次,核心 intrinsic 随机性来自“token 采样”(decoder 从概率分布中抽样),但实现中的可重复性需要在 matched 条件下控制权重、上下文、隐式环境等变量;单纯的确定性执行并不意味着行为完全不可重复,且部署环境中的各种变量(环境、服务、批次效应等)会引发额外变异。
图 1(Anatomy of an agentic AI system)用以示意基础模型在解码器内、与记忆/检索、工具、外部环境等的关系,以及“原始 token 生成”如何通过代理循环放大成为行为与结果。这一图是本文理解“从模型输出到实际业务行为的变异放大路径”的核心视觉入口。图像路径:images/50ea7466e9c1eb6c43c38ace2c894052e26af2935e06e467b5e3a10f7c2abb74.jpg?page=1。若要重现,请参见文中对应段落的描述。
关键点:Softmax 将原始分数(logits)转化为概率分布;温度参数 T 的作用是调整分布形状(T 越大,分布越平坦,随机性越高;T 越小,越接近贪心),从而直接影响采样阶段的随机性强度。 toy 数值与图形(Figure 5)展示了不同温度下的分布变化,帮助读者理解“温度对采样的影响”。图 5:温度对 toy 分布的可视化。图像路径:images/c56e9800c8784be3e52d653e10dcf4e337f5770704f0376dbc8ac0ad920d24b6.jpg?page=17。 ,
Decoding: turning probabilities into an output sequence(Section 5: 解码)
作用:统一本文用到的记号与符号体系,方便读者对公式的衔接与理解。定位在 Appendix A 与 Table 2。该部分有助于把后续的公式叙述变得可追溯、可复现。图像未给出,但文本中明确说明该表格存在。引用:Table 2: Notation used throughout the tutorial。
D Practical cautions for extending the demonstration
提醒在现实世界中(更大模型、生产环境)的可重复性会因为 batching、内核实现、动态批次、工具/环境等改变而变得复杂,因此演示要作为教学与概念验证的边界条件,而非生产环境的一般性结论。该段落提供了具体的实务建议,如优先使用 CPU、固定模式、记录版本、以及不要从 toy 模型直接推广到生产系统等。
参考性与链接
文献引用涵盖基础模型、解码策略、工具使用等多个维度(Anthropic、OpenAI、Hugging Face、PyTorch、Vaswani 及其它),为理论框架提供了广泛的背景材料与对比基线。参考部分覆盖了从基础 Transformers(Attention is All You Need)到工具生态(Agents、Toolformer、React、AutoGen)的多源信息,帮助理解当代代理系统的实现与治理难点。
代理型 AI 系统的行为随机性具有多层来源:基础模型的 token 采样(最直接的随机源)以及外部环境、服务、以及编排系统等层面的变异共同决定了最终的行动序列与业务结果。尽管在受控条件下,前向传播可被视为确定性过程,解码阶段的采样仍然是实现多样性与鲁棒性的关键工具。因此,单纯问“模型是否随机”并不能回答代理系统的行为预测性;需要回答“在哪一层进入、对该用例是否足以影响结果、以及是否可被回放/再现”等问题。上述结论在全文的多处得到明确支撑,并以节中图表与 toy 示例作为可证伪的演示。 ,
对企业与治理的启示
建议企业/机构在部署代理型 AI 时,建立完整的全轨迹日志、使用确定性解码作为诊断工具、对外部环境与工具的变更进行版本控制和快照、并将治理焦点放在“有实质结果的输出”上(如工具调用、数据库变更、财务相关操作等),而不仅仅是文本输出的可重复性。这些要点在 Section 8 的七大原则中得到系统化的阐释。
对研究与教学的贡献
通过明确区分“层级变异”与“单点随机性”的框架,论文为研究者提供了一个清晰的分析工具集,用以理解与比较不同代理系统在实际应用中的行为差异,并提供丰富的可复现实验(Appendices)的代码演示,便于在课程与研究中实现“可重复性”的教育目标。图表和 toy 数据提供了可操作的实例,便于教学与讨论。 , ,
综合评价与局限性(审慎视角)
潜在偏见与局限
论文高度强调“控制条件下的可重复性”为理论核心,但在现实生产环境中,完全批量不可控性往往存在,且行业应用的风险容忍度和合规要求也各异。因此,尽管文中对“可重复性”的理论构成与实现路径做了严谨分析,读者仍需谨慎地将 toy 演示的结论外推到大模型生产场景。作者也在多处强调了“生产环境中的变异远比 toy 场景复杂”,这一点在 Section 7 与 Section 8 的讨论中得到了充分体现。 ,
该文在理论与实践之间架起了清晰的桥梁,通过严密的层级化分析、逐步的数理推导、以及大量的直观图示,帮助读者理解“如何从 token 采样出发,理解代理系统中的随机性及其放大效应”,并给出可操作的治理原则。尽管 toy 演示的外部环境简单,但其在教学和研究中的价值在于揭示“可重复性与随机性在不同层级上的边界条件”,以及在实际部署中应如何做全轨迹追踪与分布性分析。对于从事 AI 治理、系统设计和产品管理的专业人士而言,该论文提供了一个系统化、可操作且有据可依的分析框架。