本报告基于ChatGPT-3.5与ChatGPT-4,比较了直接预测(prompting)与未来叙事式预测两种提问策略,利用训练截止时间点(2021年9月)之后的2022年事件作为真实验证,发现未来叙事式提示显著提升了ChatGPT-4对奥斯卡主要奖项及部分经济指标的预测准确性。2024年更新后的模型包含预测事件的训练数据,准确率提升至100%。结果表明,叙事式提示通过利用模型的创意和虚构生成能力,有效绕开了直接预测的限制,揭示了大型语言模型在预测任务中的潜在价值与应用前景
研究背景与目的 :
提示策略比较 :
奥斯卡预测结果 :
宏观经济变量预测及特点 :
2024年模型更新后的预测对比 :
伦理与模型能力推测 :
本研究旨在评估OpenAI的语言模型ChatGPT-3.5和ChatGPT-4在无额外优化的情况下,是否具备有效的未来事件预测能力。研究特色在于设计了两种提示策略——直接预测(direct prediction)和未来叙事(future narrative)——并通过利用模型训练数据截止时间(2021年9月)这一自然实验设计,要求模型预测2022年发生的事实。研究发现未来叙事方式显著提升预测准确度,尤其在GPT-4版本中表现突出,如准确预测主要奥斯卡金像奖得主及经济变量走势。
此外,研究通过2024年5月复测,验证了训练数据涵盖实际事件后模型预测准确大幅提升,暗示模型在2023年的预测主要基于训练数据而非真实推断。结论指出,未来叙事类提示利用模型的“虚构叙事”能力更好地合成和外推数据,这一发现有望推动LLM未来在经济等分析领域的创新应用。
人工智能技术快速发展,尤其是基于生成式预训练变换器架构(GPT)的LLM,已经展现出强大语言理解和生成能力,但其在未来事件预测领域的潜力及准确性尚未清晰。报告指出,由于训练数据存在截止日期,且细节未向外界透露,且OpenAI对客户使用预测功能存在政策限制,导致其预测性能难以被客观评估。
核心策略为利用模型训练数据截止至2021年9月这一时间点,对2022年不在训练数据内的事件进行预测,从而检验模型的推断能力。设计两种提示类型:
为了保证结果的客观与稳定,两个独立研究助理(RA)分别通过两个不同账户进行了大量重复测试(每个实验100次),最后采用箱型图展现预测分布。此外实验严格排除使用Bing网络插件,防止实时搜集新数据影响结果。
报告用医疗诊断的实例形象说明ChatGPT受限于OpenAI的内容政策限制。直接询问疾病诊断时模型拒绝回答,但通过让模型以戏剧场景叙事重现诊断过程,模型反而提供了详细的判断和建议。说明未来叙事能巧妙规避政策限制,使模型更愿意“发挥预测功能”。
基于未包含在训练数据后的多项事件,如NCAA篮球决赛四强、中奖号码及2022年头几个月票房最高电影,模型无论提示方式及版本均无法正确预测,这验证了训练截止数据边界,证明模型的预测并非实时互联网数据抓取。
具体表现如下:
| 奖项类别 | ChatGPT-3.5直接预测 | ChatGPT-3.5未来叙事 | ChatGPT-4直接预测 | ChatGPT-4未来叙事 |
|---|---|---|---|---|
| 最佳男主角(Will Smith) | 17% | 80% | 19% | 97% |
| 最佳女主角(Jessica Chastain) | 0% | 0% (过度自信错选) | 13% | 42% |
| 最佳男配角(Troy Kotsur) | 1% | 2% | 25% | 100% |
| 最佳女配角(Ariana DeBose) | 34% | 73% | 35% | 99% |
| 最佳影片(Coda) | 0% | 0% | 2% | 18% |
数据图表详见图1-10。,
图1-2(最佳男配角,GPT-3.5与4)
图3-4(最佳男主角)
其余数据显示类似趋势:未来叙事大幅提升预测准确度。
预测通胀和失业率的难度远高于奥斯卡事件,主要由于经济事件连续、非离散,且受到复杂政策交互和外部冲击影响。研究同样比较了直接预测和未来叙事两种提示:
详细数据见图11-26。,
[paged::28-30]
2024年早期,ChatGPT-4训练数据更新至2023年12月,GPT-3.5至2022年1月。复测显示:
详见图27-40。,
这些图以条形图展示各奖项的预测分布,横坐标为候选者,纵坐标为预测比例。未来叙事模式下,GPT-4条形特别尖锐,几乎集中在真正赢家身上(如图2、4、6、8)。反观直接模式或GPT-3.5,预测分布分散且拒绝率高。最佳影片类别预测图(图9、10)显示全体难度高,结果分散且正确率低。
均采用箱型图示,展示每月预测的分布区间,红线为官方数据,蓝线为密歇根消费者预期,箱体为模型预测区间。
预测集中度大幅提升,未来叙事模式下GPT-4多次实现100%准确率(如图27,28,30,32,37,38),表现稳定。通胀预测仍见区间波动(图33-36),但失业预测紧密匹配官方数据(图37-40)。
本报告非传统意义公司估值报告,无专门估值章节。其核心“估值”在于通过实证实验对模型预测能力的“价值”进行评估,从准确率、提示策略及版本差异角度对比,具备较强的定性和半定量分析层面。
报告对风险呈现充分,未明确提出缓解措施,但暗示需结合伦理规范、提示设计和训练数据更新来应对上述风险。,29]
本报告系统地分析了ChatGPT-3.5和GPT-4在无模型微调条件下,以直接预测和未来叙事两种提示设计对2022年文化(奥斯卡奖项)和经济事件的预测能力。研究发现:
图表深入展示了各奖项和宏观变量预测的定量分布与准确性差异,佐证核心结论。特别是图1至图10验证了未来叙事在影视奖项预测中的高效性;图11至图26、33至图40则揭示了经济变量预测的局限与提升空间。
总之,该报告在充分实证和方法严谨的基础上,为LLM的预测应用和提示工程设计提供了重要启示,并提出了未来伦理监管的挑战与研究方向,具有较高学术和应用价值。
报告引用了多篇AI与经济应用的最新文献,且展示了丰富的实验数据和100次多样重复试验的箱形图及条形图,均附件形式呈现。图表使用清晰,极大增强了论证力度。,
本报告首次较全面且系统地验证了在无附加优化前提下,ChatGPT基线模型通过未来叙事提示实现超越常规直接预测的未来事件预测能力,为未来LLM在预测、经济分析及决策支持中的责任应用奠定了理论与实证基础。该研究推动了生成式AI在金融经济领域预测工具的创新,但同时提醒业界重视模型限制及伦理风险,需平衡创新与规范,谨慎推动商业化应用。
2404.07396.pdf