本文通过对约1.6万对真实 ChatGPT 提示词的反事实重写与 A/B 实验,发现提示词的礼貌程度会显著改变模型产生的输出 token 数量(非礼貌提示会增加输出 token),但不降低输出质量,从而导致企业 API 成本不可预测且可能被放大利润,为企业与监管层提出了对输出 token 计费透明性的政策与工程建议 .
| 类别 | Count | Mean (输入/输出 tokens) | Std. Dev. |
|---|---|---|---|
| Input — Control (Polite = 0) | 15961 | 31.528 | 26.731 |
| Input — Treatment (Polite = 1) | 15961 | 33.529 | 26.170 |
| Output — Control (Polite = 0) | 15961 | 495.740 | 292.491 |
| Output — Treatment (Polite = 1) | 15961 | 483.352 | 292.810 |
元数据与概览(引言与报告概览)
逐节深度解读
图表与表格深度解读(关键表格逐一分析)
Table 1(示例原始与反事实提示):该表展示典型的“礼貌 ↔ 非礼貌”对照,例如“Can you please find me a stevia-free chocolate protein powder?” ↔ “Find me a stevia-free chocolate protein powder.”,以及“Write a critique of the Hundred cricket format” ↔ “Could you please write a critique of the Hundred cricket format?”,用于直观展示变换策略:主要变化在礼貌表达(请/能否)而尽量保持核心任务不变。
Table 2(摘要统计):输入 token 特征显示控制组(Polite=0)输入均值 31.528、处理组(Polite=1)33.529;输出 token 特征显示控制组输出均值 495.740、处理组 483.352,标准差在输出上都很高(约 292),说明输出长度分布十分离散且存在较大异质性;该表支持初步结论:礼貌(处理)样本平均输出较少。
解读要点:虽然礼貌输入有略高的输入 token 均值(33.5 vs 31.5),输出却更少(483.4 vs 495.7),这排除了简单的“更长输入 => 更长输出”解释,支持作者关于“礼貌影响输出长度、非等同于输入长度”的主张。
Table 3(主回归结果):作者报告在回归中礼貌(Polite)的系数为 -14.426 且显著(p<0.01),即礼貌提示平均减少约 14.4 个输出 token;截距约 463.626,输入 token 系数大约 1.019(或在不同格式下 0.062/1.019,被表格格式扰乱,但文本明确指出礼貌减少 ~14.426 tokens)。观测数 31,922(即包含原/反事实的对数),调整后 R^2 极低(0.0089),说明模型只能解释输出 token 变异的一小部分。
含义:显著的平均效应表明礼貌性对输出长度有可重复的影响,但极低的 R^2 提醒我们,大部分输出长度差异仍由其他未建模因素决定(例如任务细节、生成随机性、模型内部采样行为等)。
Table 4(按礼貌类型的稳健性):将礼貌分为显式“please/thank you”、仅“please”、隐式(如 “can you”/“could you”)三类,礼貌系数分别为 -16.069、-16.060、-10.882*,均为负且在多数情形显著,表明不同礼貌表达方式均带来输出 token 减少,但隐式礼貌的效果略弱且显著性较低。
Table 5(LIWC 对齐与连续礼貌度):使用 LIWC 构建礼貌度并与 GPT 分类比对,二者一致率约 81%(作者未在表格中直接给出但在文本说明),在对齐子集上二元礼貌变量系数约 -14.85***,而 LIWC 连续量表显示每单位礼貌得分增加对应约 -5.851 个输出 token,表明礼貌度的连续变化也与输出 token 负相关。
注:连续度量系数的解释依赖于 LIWC 得分的刻度,作者并未在文本详述 LIWC 单位如何映射到自然语义应谨慎解释该弹性值。
Table 6(控制任务类型的估计):作者使用 SentenceTransformer 将提示分配到任务类别(信息检索、文本生成、编辑改写、摘要、技术任务等)并加入交互项;在加入任务控制后,礼貌系数仍约 -14.17***,且与任务的交互项普遍不显著,说明礼貌效应在不同任务类型中没有显著的差异化表现(即相对一致)。
估值/数量化影响(对企业与平台的费用推断)
质量验证与人类评估(输出质量是否受影响?)
稳健性与替代解释
风险因素与局限性(基于报告内容的评估)
批判性视角(审慎视角与细微差别)
结论性综合(关键发现与政策/实践含义)
补充——可视化与数据获取提示
总体评估(简要建议)
(全文基于原文内容逐段解读并直引实验数值与结论;文中每处来自原文的关键结论或事实已在句末标注页码以便溯源。)
2511.11761.pdf