本论文通过一项预注册随机对照实验,测量不同训练算力的13款LLM对500余名管理者、咨询师与数据分析师完成职业任务的速度与质量影响,并以此导出“经济生产率的缩放定律”。研究发现:每向前一年的模型进展约使任务完成时间下降8%;每10倍训练算力提升对应约6.3%的时间缩短;总体上接入任一AI即可将基础每分钟收益(EPM)提高约81.3%,并将含绩效奖金的总每分钟收益(TEPM)提高约146%;约56%的效率提升来自算力扩张,44%来自算法与其他日历时间进步 .
导读与元数据概览
逐节精读与剖析
方法与核心定量分解:作者先用 calendar-time 回归估计总体年化效率提升 ≈ 8.3%(monthly coefficient 0.0069×12),再用 log compute 回归估计纯算力的贡献(coef ≈ -0.0608 对 10x compute 对应约 5.9% time reduction),并结合训练算力年增长率约 6.1×/yr 来推算算力带来的年化时间减少约 4.8%(log10(6.2)×0.0608 的计算),剩余即算法/其他因素约 3.5%/yr。作者据此报告:大约 56% 的时间缩短来自 compute scaling,44% 来自算法性进步(但 compute 系数显著性较弱 p≈0.31,故分解存在不确定性)。
表/图支持:Figure 8(log time vs log compute):。表 12 报告 log_compute 在含控制模型下系数 -0.0608(标准误 ~0.0593,不显著),表明对 compute 的估算精度有限,需要谨慎解读分解比例。
图表与表格逐一深度解读(重点图表与表格)
Figure 1 / Table 1(EPM 基线):柱状图与回归系数(Table1 Bot Dummy ≈0.558***,含控),表明 AI 可将单次任务的单位时间基础收益(基于任务固定付费)显著上升,这主要来源于任务完成时间缩短。图表视觉上简洁、回归在含职业×任务固定效应后仍显著,支持差异不是简单由任务分布造成。
Figure 2 / Table 2(Grades):图示平均分提升 3.32→3.91,回归 Table2 Bot Dummy ≈0.595***(含控)表明质量提升并非被骗取的速度换取质量的替代关系,而是“双赢”。不过评分由专家人工赋分,主观性与评分一致性(inter-rater reliability)未在正文详报告,需关注评分方差与盲评机制(Appendix 未详述评分协议),可能影响外推。
Figure 3 / Table 3(TEPM):回归显著(Bot Dummy≈1.06*** 含控),作者并分解 TEPM 的来源(约 52.6% 来自 EPM 增、47.4% 来自奖金额外发生),显示绩效基准化激励(bonus)放大了 AI 的经济价值,但在现实企业内是否存在类似“翻倍奖励”的强激励是外部效度问题。
Figure 5–7 与 Table 9–11(Calendar-time scaling):这些图与表构成作者关于“每年 ≈8% time reduction、EPM 与 TEPM 随 calendar-time 线性上升”的证据链,回归在加入背景控件后保持稳健(Table9 月系数 -0.0069**),表明不仅模型更新而且随时间的算法/数据/发布更迭对生产率有持续溢出。
Figure 8 / Table 12(Log compute scaling):log compute→log time 回归给出 10x compute 对应 ≈5.9% 的时间减少(图上注记),但Table12 的系数在含控制时标准误较大(coef -0.0608,SE ~0.0593,p≈0.31),提示 compute 单独效应估计不够精确,合成分解(compute vs algorithmic)存在统计不确定性,应谨慎解读分解比例(作者也明确指出)。
Figure 11–13 与 Table 30(质量尺度):AI-only 输出与 Human+AI 的对比是本文最重要的洞察之一:Table30(AI-only)显示 log compute 对 grade 的显著正效应(0.513*** per 10x),而 Human+AI 的回归(Table29/Table28)在 AI 用户端对 quality 随 compute 的系数为零或负且不显著,说明人类在协作中并未放大模型随规模带来的质量提升(甚至在强模型时人为降级)。这一发现对将来“人机协同设计、界面、提示工程、人员培训”提出明确改进方向。
风险因素与方法学评估(批判性视角)
结论性综合(关键发现与政策/实践含义)
总体评价(客观、中肯)
引用与溯源提示
2512.21316.pdf