以下分析基于你提供的报告文本,按原文结构进行分章解读,并对文中图表、数据与推理进行逐点剖析。为便于溯源,所有涉及到结论或重要断言的句末均标注了页码引用,采用从1开始的页码映射(原文第1页对应 2 ,依此类推)。文中涉及的图表均已按原文图片路径给出相对引用格式。
一、元数据与概览(引言与研究主题要点)
标题与作者/机构背景
标题:Randomness in large language models: What researchers need to know (and report)
作者:Guillaume Coqueret, Joan Llull, Florian Oswald, Christophe Pérignon, Christoph Scheuch, Lars Vilhuber(及署名形式指出的机构背景),研究聚焦大语言模型在学术研究中的可重复性与报告规范。该论文明确以经济学与管理学研究为主线,探讨LLM输出的随机性及其对再现性的影响。该信息来自摘要与引言的开篇描述。2
研究主题与核心命题
核心命题是:LLM 输出并非确定性测量,应该被视为来自一个分布的抽样结果,而非固定值。若要实现可重复性,需要对模型输出中的随机性来源、可控性与不可控性进行系统区分,并提出可操作的报告与复制包要求,以支撑科学研究的透明度与再现性。该结论在摘要与引言中反复强调,并作为整篇论文的主线论证。2
四大贡献与要点概览
识别并解释主要的随机性来源及其机制,向广泛研究群体普及; 2) 区分研究者可控与不可控的随机性来源; 3) 提出一个针对情感分类任务的实验,用以衡量这些随机性对结果的影响; 4) 提出面向作者与期刊数据编辑的实际报告与验证标准。上述四点在引言中清晰列出,构成论文结构的逻辑骨架。此处信息直接出现在引言段落中。2
图表与数据呈现的作用定位
论文通过对LLM 随机性的理论梳理、实验验证(以情感判断为例)以及对报告/复制包的具体建议,建立一个“将输出视为分布抽样”的研究范式。核心意图是促成学术期刊在数据生成变量方面的披露与验证标准的建立,弥补现有数据/代码可重复性规范在面对模型生成数据时的不足。2
二、逐节深度解读(逐章精读与剖析)
二.1 章节定位与主旨(第2节—“How researchers use generative artificial intelligence”)
本节要点概述
通过对研究论文在经济学与管理学领域中使用LLM 的情况进行系统梳理,展现LLM在研究中的三大用途:数据生成与测量、模拟受访者/代理、研究辅助(编程、文献检索、写作等)。其中,作者重点聚焦第一类用途(数据生成数据成为研究结果的一部分),因为这是直接影响可重复性的最关键环节。文本明确指出:模型输出若成为数据变量,其再现性将取决于模型本身、服务环境及传统数据/代码包。该论述位于本节的核心段落,强调“数据即抽样自分布”的逻辑对可重复性的直接冲击。4
关键论点与推理基础
作者将LLM的广泛应用划分为三大类别,并强调“第一类别”最具再现性风险,因为输出可能直接影响研究结果(如情感变量、样本筛选、结果度量等)。这建立了研究者必须在论文中披露LLM使用的细节(模型、设置、输出稳定性等)的原因。引用的逻辑基础在于:若数据来自模型的随机输出,不同重复运行会产出不同的分析变量,从而改变回归结果或统计推断的结论。这一点与抽象中的核心命题一致。为强调紧迫性,作者提到LLM在研究中的采用速度与日益增多的发表论文,要求在方法学阶段就建立披露标准。4
关键数据点与意义
图1(下一小节详述)显示截至2026年7月,经济学与管理学领域在顶级期刊中标题或摘要提及LLM的论文比例已接近6%,且该趋势在逐年上升。该数据点支持作者关于LLM采纳广泛性与潜在可重复性挑战的论断,即“研究实践的广泛性增大意味着可重复性问题的普遍性与严重性”这一主张。图示及其解读在文中对OpenAI、Google等封闭模型与可控性(温度等)之间的关系进行了直观呈现,强调温度无法在所有平台上统一控制,从而影响可重复性。相关图表引用在本节的描述中直接嵌入了图1的图像说明。4
图表深度溯源与显示
图1的图片: (原文对应图像路径,页码对应第2页信息)
图1说明:展示不同关键词组在145份4/4*级别期刊论文中的提及比例随时间的变化,凸显LLM的研究渗透率在逐年提升,并辅以“open-weight vs closed-weight模型”的区分,强调模型开放性对控制随机性的潜在影响。3
二.2 章节“Where the randomness comes from”之详细解读
3.1 Deliberate sampling(有意采样)
核心概念:LLM 在逐步生成时对候选词进行采样,以避免输出过于平淡。通过温度参数 T 调整分布形状,T 越高,输出越随机,趋向均匀分布;T=0 时趋向贪婪解但并非总能解决所有随机性,因为在实际场景中仍可能存在打断/边缘情况导致的输出差异。文中指出多家领先模型在温度设置上的限制(如OpenAI、Anthropic的某些模型禁用温度设置),从而实际控制能力受限。5
推理逻辑与证据:当模型提供可控的温度参数时,研究者可通过设定温度为0来显著提高结果的一致性;但若提供方禁用温度调控,则研究者对“随机性”控制能力受限,需依赖其他策略(比如记录模型标识、执行时间、指纹等元数据以检测变化)。文本并给出“温度与种子(seed)的区别”:温度控制随机分布,种子仅在确定性采样条件下通过伪随机数生成来提高重复性的可控性。此处清晰地将随机性分解为可控与不可控两类,并给出具体披露要点。5
图像提示与解读:本节的图表A3(温度时间线)展示了不同厂商模型在“是否可由用户设定温度”上的策略差异及其范围。这些信息来自论文对厂商官网与API的梳理,强调“温度策略”是影响重复性的关键外部因素之一。图像引用:Figure A3 的图片路径为 images/2b50d36cb584ae2d413f0b16ffcfee6951eefce99f9453638a9a77ca2706a64a.jpg?page=18。该图直观呈现不同模型的温度策略和可设定范围的演变。19
3.2 Silent model updates(静默模型升级)
核心点:同一模型名在提供端背后可能已经发生权重、风险过滤、路由等更新,而接口公开的名称、端点参数可能保持不变,导致观测到的输出随时间改变。这种“静默更新”对再现性造成严重挑战,因为前后实验在不同时间点使用同一标识可能产生不可比的结果。作者以GPT-4 的时间可变性为例,指出在三个月内准确度显著下降,强调更新来源可能是训练数据更新或未披露的系统修改。6
实证含义:此类更新使得公开的端点更像“时变系统”,复制过程需要记录模型标识、时间与版本信息等,以便追溯不可比的改动。这一论断直接支撑后续关于“提交的复制包应包含完整的环境与版本信息”的主张。6
3.3 Floating point rounding(浮点舍入误差)
核心逻辑:在不同硬件、不同数值库、并行执行等情况下,数值运算的精度与执行顺序可能导致最终结果的微小差异,进而在近乎平分的候选词排序情形下改变输出序列。文中给出典型的数值示例,强调当候选项的分数极度接近时,微小的数值差异就可能改变最终选取的 token,进而剧烈影响后续生成。研究回顾指出多项外部研究已证实不同评估环境、GPU 类型、批量大小、数值精度等会放大非确定性的问题,这一部分为“底层计算精度问题”提供了理论和实证支撑。7
观察意义:强调研究者需要关注的不仅是模型的抽象“采样策略”,更要关注基础计算栈(硬件、驱动、库实现、分布式计算等)对结果的放大效应,尤其是在高精度需求的金融数据分析场景中。文献引用治理了“硬件与软件栈对重复性的系统性影响”的论据基础。7
3.4 Expert routing(专家路由)
核心点:有些大模型采用专家-门控的混合结构(mixture-of-experts),将不同 token 分发给不同的子网络专家处理。在批量处理下,哪个 token 走向哪位专家可能因同一批次中的其他请求而改变,造成可观的输出差异。研究cite Hayes 等人的工作,指出在批量内的请求选择可能被“对抗性输入”引发改变输出的情况,且这类影响通常对用户不可见。这一部分扩展了随机性来源的维度,强调了“服务端并行调度与多租户场景”对重复性的潜在影响。7
3.5 研究者可控的因素(What researchers can control)
核心要点:表格(Table 1)对比了不同来源的变化在“可控性”维度上的差异,并指出局部执行(open weights 本地部署)提供了最强的控制能力。若能在本地完整掌控权重、批量大小、软件环境、硬件与确定性数值运算等,理论上能够实现“精确重现”,但前提是对整个服务栈(包括推理库、驱动、批处理策略等)有完全控制与记录。商用服务在硬件、批处理行为、静默更新等方面往往不可控,因此局部部署的开源权重被视为实现可重复性的重要途径,但同样需要完善的文档化要求(推理库、精度、处理器型号、驱动版本、批处理设置、确定性执行选项等)。这一节清晰地把“控制水平”转化为实际操作要点,为后文的实践性建议打下基石。8
图表深度提示
Table 1(两次运行的差异)直观对照了“本地执行 vs API 服务”的差异性,强调本地执行在可重复性方面的显著优势,但也带来文档化与环境再现的额外要求。这部分的引用在文本中以表格呈现,图像未给出独立的图片路径,故未附图像引用。
3.6 与其他章节的综合性结论
杨等研究(Yang 2026)强调“服务栈的可重复性”在本地部署的可控性问题上对重复性的重要性,即使在同一开源模型的不同云服务上也存在差异。这为本文的核心论断“执行环境比模型权重本身更决定结果重复性”提供实证支撑。9
三、图表深度解读(每个关键图表的描述、解读与联系)
图1:Use of LLMs in economics and business journals
描述:展示2020-2026年间,顶级4/4*期刊中论文标题或摘要包含“LLM/NLP相关术语”的占比,以及各关键词组的累计比例(如“any model name”、“LLM”、“生成式 AI”等),并且区分“open-weight vs closed-weight 模型”的文献比例随时间的变化。图表还提示2026年7月的初步结果,以及各大提供商市场份额的趋势。图像嵌入路径: 。这张图直接支撑论文对LLM 在学术研究中的扩散程度与模型开放性对重复性控制的讨论。3
关键解读要点:
学术论文对LLM 的提及显著增加,显示研究领域对该工具的广泛关注,但并非所有论文都提供对随机性控制的对策。
图中“open-weight vs closed-weight”的对比提示:开放权重模型在控制随机性方面具有潜在优势,闭源模型若禁用温度设置,将显著增加重复性挑战。
作者以此作为动机,提出后续章节对随机性来源的系统梳理和可控性的讨论。该图在文本中的作用是定性描绘研究领域的演进与现实挑战的宏观背景。3
图A1:Open vs closed LLM models
描述:随时间分布的“open-weighted 与 closed-weighted 模型在研究论文中被提及的比例”比较。图片路径: 。该图强调在2020-2026年间,闭源模型在论文中的提及比例显著上升,而开放权重模型的提及比例较低但逐渐增多,显示研究界对可控性和可重复性的关注在增加。18
关键解读要点:
闭源模型的普及与贴近性使得研究者难以掌控输出的随机性,增加了再现性风险。
开放权重逐步增加,提示学术界在推动“可控与可重复”的研究实践中逐步转向本地或可审计的解决方案。
该图与文本共同支撑论文的核心论断:可控性强的模型(或可证伪的部署环境)更有利于实现可重复性。该结论在第3节关于“研究者可控的来源”中得到理论化与实例化支持。18
图A2:LLM provider market shares
描述:展示不同提供商在研究者提及的LLM 模型中的市场份额演变,2010s-2026年的趋势。图片路径: 。该图解释OpenAI在经济学/商业研究领域的市场支配地位的变迁,以及“模型来源”对可重复性与透明度的含义。18
关键解读要点:
图示反映研究者在模型来源上的集中趋势,OpenAI及其产品在研究中的广泛使用可能带来统一性也可能带来统一性风险(如统一的随机性策略、不可控更新等)。
与Open vs open权重的讨论相互呼应,揭示市场结构对研究可重复性的潜在影响:依赖单一提供商的研究更易受到该提供商更新、策略调整的影响。18
图A3:LLM temperature timeline
描述:给出Anthropic、DeepSeek、Google与OpenAI等厂商自2024年中旬至2026年中旬的温度策略时间线。绿色点表示“可由用户设定温度”,橙色表示“可接受但被忽略的设置”,红色表示“不可用/被拒绝的设置”;并列出每个模型的温度取值区间。图片路径: 。该图直观呈现了温度控制在不同供应商的策略变化,是评估“可控性”与研究者可重复性的重要证据。19
关键解读要点:
趋势显示:逐步向可控性更强的策略靠拢或增加了对温度控制的披露;但仍有大量模型对温度不可控或不提供设定。
这直接影响“在现实研究中实现温度零(T=0)以消除有意采样”的可行性,因而成为可重复性讨论的重要现实约束。
该图帮助将本文的“控制来源”讨论与市场实践联系起来,强调研究者在设计实验与报告时需考量模型获取渠道对可重复性的影响。19
图2 与图3(在4. Illustration with annual corporate filings 与随后的实验结果中出现)
图2(分布的 t 统计量)和图3(DeepSeek 与 Gemma 的多场景分布)作为实验结果的核心呈现,直接展示了同一 Prompts、相同文本、相同回归设定下,不同重复运行会产生显著不同的回归统计结果的现象,强调“温度设置对回归显著性”的影响差异。图片路径:
Figure 2 的图像:
Figure 3 的图像:
关键解读要点:
Figure 2(GPT-5.6 Luna、温度可变等)显示在默认温度下,t-statistic 的分布接近多样化,约有5% 的结果落在90%显著性阈值之外,意味着部分研究者可能在“统计显著性”上受随机性驱动误导。这直接证实“模型输出的随机性会污染统计推断”,需要通过重复测量或分布性报告来缓解。10
Figure 3 对比了 DeepSeek V4-Pro、Gemma-4-26B-A4B 在本地与在线服务下的重复性差异:当在本地以 T=0 进行确定性采样时,结果在四个组合中几乎完全固定,残留随机性被消除了;而在在线 API 场景下,即使是零温度也仍然存在残余的随机性,说明“服务栈的不可控性”在商业部署中难以通过简单设定消除。10
这组图表共同支持论文的核心论断:本地部署的可控性最强,但即使如此,远程服务的随机性来源仍然需要透明披露与检验。该结论对研究设计、复制性策略和期刊审稿具有直接影响。10 11
四、估值分析的适用性(若存在)与本报告的对应判断
版本性结论
本文并非金融资产估值研究,而是关于科学研究方法学、可重复性与报告标准的探讨。故在“估值分析”这一模块上,报告并未给出具体的企业估值、DCF 或可比分析框架的直接应用,也没有提出目标价等金融估值结果。相应地,读者应将“估值分析”视为在该文本中不适用的部分,转而关注作者提出的可重复性与透明度框架在学术研究中的应用价值。该点在文中对可重复性挑战的核心论述中已经反复强调,但没有迁就到金融估值的量化推导。13
五、风险因素评估(风险点与缓解路径)
主要风险点(作者识别的核心风险)
隐性来源的随机性:如静默更新、服务器批处理、硬件差异、数值精度、专家路由等,导致重复运行产生不同输出,即便提示与模型设置一致。该点在3.2、3.3、3.4等段落有系统论述,是论文的核心风险链条之一。6 7 8
商业服务的不确定性:商用服务往往无法保证完全可重复性(如温度设定被禁用、硬件与服务端环境不可控等),这给再现性带来长期挑战。5 8
静默更新的时间敏感性:模型在使用期间可能发生不可察的升级与修改,导致同一输入在不同时间产生不同输出,进而影响研究结论的可重复性与可验证性。6
数据生成变量的统计含义:若将LLM 输出作为研究变量,其变动将产生“分布性”而非“固定值”的统计特征,从而影响效应估计与显著性结论的稳健性。论文在4节通过实证实验(情感判定与回归分析)直观呈现这种风险。9 10
缓解策略与实践建议
报告与复制包的最小要求:作者应明确记录模型名称、版本、温度设置、完整 prompts、执行时间、生成输出(原始数据)等信息,并将 prompts 以机器可执行的形式存档以实现复制性。文中明确提出两类披露:论文文本中的必要信息(用于读者判断结果的稳定性)与复制包中的机器可读要素(用于再现性验证)。这构成期刊層面的最低门槛要求。11 12
建议使用本地开源权重与本地执行环境以实现“尽量接近精确再现”的目标,但需对整个 serving stack(环境、依赖、硬件与推理库版本)进行完整记录与文档化,且容器化部署(如 Docker、Singularity)被视为潜在解决路径之一。8
复制性验证的两条线路:再现(reproduction)与再复制(replication)。前者依赖已存档的原始输出数据;后者依赖 prompts、参数与执行指令的可再现性。论文强调这两者均不可避免地面临“模型与基础设施的时间演化”问题,但可通过系统化的变异性评估来界定结果的稳定性范围。11 13
六、批判性视角与细微差别(审慎评估)
潜在偏差与局限性
研究对象的局限性:情感分类任务(对10-K文本的情感判断)作为案例,尽管可以放大展示随机性对回归结果的影响,但在其他任务(如命名实体识别、主题建模、数值预测等)中的影响程度可能存在差异,因此外推性需要谨慎。论文在4.1实验设计中明确了样本选择(筛选最短的10-K 段落以降低成本),这在一定程度上限制了对人群分布的外推性。9
实验设置的极端性:GPT-5.6、DeepSeek、Gemma等模型在不同温度设置下的行为可能与真实研究情景略有不同,实验的温度对比是强有力的证据,但仍需在更多任务与不同数据集上进行外部验证。作者自己也承认“本研究的对象是一个典型任务的演示”,其结果对普遍性具有指示性但并非绝对定理。9 10
堆叠式随机性:文中已明确区分了来自采样、硬件、浮点运算、路由等多源随机性。尽管作者提出了“同一输入在不同环境下会产生不同输出”的警示,但在公开文献中对各来源的权重与相对重要性排序尚缺乏统一量化证据,这意味着对哪些来源应优先控制的排序仍具不确定性。
需要关注的潜在冲突点
开源权重与商业化叙事之间的张力:作者强调局部执行是实现可重复性的强路径,但也承认开源模型的局限性在于需要完整的服务栈文档化与环境控制;而现实中大量研究还是在商用API上开展,二者之间的折中需要更清晰的政策与工具支持。 Appendix A1/A2 的图示清晰地呈现了开放性对研究的影响趋势,但在具体研究设计中如何在开放性与可重复性之间权衡,仍需要进一步的实证案例与行业标准来指导。相关图表为后续讨论提供了实证佐证的线索。18
七、结论性综合(综合要点与对行业的意义)
核心结论
LLM 输出应被视为“来自分布的 draws”,而非固定值。这一核心认识改变了研究设计、结果报告与复制策略的基本假设。论文以实证与案例为支撑,展示了不同来源的随机性如何通过模型输出传导到研究变量、回归系数及显著性检验之上。此结论贯穿全篇,是本文提出的最重要的理论性贡献。2 10
实践性建议
对于作者:在论文中明确披露使用的模型、设置、 prompts、时间戳、运行环境等信息;在复制包中提供原始输出和机器可执行的输入/参数,以支持再现和再复制;优先考虑通过本地部署实现对环境的控制与记录。论文对“温度设定、种子、执行堆栈的记录、容器化”等细节提出了具体可操作的建议。11 13
对于期刊数据编辑/审稿人:建立严格且具体的模型生成变量报告标准,要求原始输出的存档、 prompts 的机器可执行格式、以及执行环境的可追溯性;在系统性提升可重复性的同时,也要认识到对于商业API,完全精确再现可能不可行,需要以“基于分布的统计证据”来评估结果的稳健性与可重复性边界。11 13
业界与学术的影响
该文对学术研究的影响在于推动“LLM 输出可重复性”的话题进入正式的学术讨论与制度设计层面,提出了实证化的证据(如情感判断对回归统计的影响、温度对输出的控制性等)以及具体的披露/验证框架,具有较强的操作性与前瞻性。 Appendix 的温度策略、开放性对比、以及“服务栈可控性”的实证呈现,为未来在同行评审与数据编辑流程中的落地提供了明确方向。2 19
关于图表与图像的引用清单(方便快速溯源)
Figure 1(LLM 使用在经济与管理学期刊中的占比趋势)
图片路径:
对应页码:3
Figure A1(Open vs Closed 模型在论文中的提及比例)
图片路径:
对应页码:18
Figure A2(LLM 提供商市场份额)
图片路径:
对应页码:18
Figure A3(温度时间线:厂商政策)
图片路径:
对应页码:19
Figure 2(GPT-基于情感得分的回归统计分布)
图片路径:
对应页码:10
Figure 3(DeepSeek 与 Gemma 的分布对比,温度设定对稳定性的影响)
图片路径:
对应页码:11
附录 A1/A2/A3 的分布图与温度策略时间线等
Figure A1(Open vs Closed 模型分布图)与 Figure A2(LLM提供商市场份额)的图像同上,页码指向 18 。
Figure A3(温度时间线)同上,指向 19 。
总体而言,这篇论文系统地揭示了大语言模型在学术研究中的随机性来源,并提供了一个清晰的、可操作性的披露与验证框架。它强调:研究者应将LLM输出视为分布中的抽样结果,而非确定性测量;在可控条件下尽量消除随机性(如温度设为0、局部部署、完整的环境记录等)是提升可重复性的重要路径;而在不可控条件下,则应通过重复测量、变异性分析与透明报告来评估结果的稳健性。上述分析覆盖了文本的核心论点、各章节结构、关键图表及其对论文论证的支撑,同时给出对未来研究实践的具体启示。