财经研究报告详尽分析报告
报告题目与基本信息
标题 :Prompting for Policy: Forecasting Macroeconomic Scenarios with Synthetic LLM Personas
作者 :Giulia Iadisernia, Carolina Camassa
发布机构 :Banca d’Italia(意大利央行)
会议与时间 :2025年第六届国际人工智能金融会议(ICAIF ’25),新加坡,2025年11月
研究主题 :利用大型语言模型(LLM)和合成专家角色(persona)进行宏观经济变量预测,特别是以欧洲央行(ECB)专业预测员调查(Survey of Professional Forecasters,简称SPF)为基准,模拟与人类专家在通胀、实际GDP增长和失业率等关键宏观变量以及不同预测期上的表现差异和建模技术。
报告主要聚焦:
评估基于合成经济学专家角色的提示(persona prompting)是否提升大型语言模型的宏观经济预测表现;
使用超过2300个经济相关合成角色,生成超过11万条预测,与实际人类专业预测员对比;
进一步测试如果去除合成角色描述,仅保留基础提示信息,LLM的预测能力是否会发生显著变化。
1. 引言与概览
报告开篇介绍了宏观经济预测在央行货币政策制定中的核心地位,ECB的SPF调查是欧洲最权威专业预测员调研,每季度发布,为政策决策和市场预期提供参考。随后指出,尽管大型语言模型在财经领域应用日益增长,但其预测准确性对提示设计(prompt engineering)较为敏感,现有文献大多采用“手工设计”的少量专家提示,缺乏系统评估不同提示元素(如角色扮演提示persona prompting)的效用证据。
本研究创新点在于用超过2,300个从PersonaHub数据集中筛选的合成经济专家角色,暴露GPT-4o模型于ECB的SPF历年数据(2013-2025, 50个预测轮次),生成针对四大关键宏观变量的中短长期预测。包括了标准的面板内训练期检验和罕见的训数据截止后(2024-2025)的外样本检验。
主要发现包括两点:
GPT-4o的预测精度与人类专业预测员整体非常接近,虽然统计检验显示两者存在一定显著差异,但实务影响较小。
去除合成角色描述的提示构造,在预测表现上无明显不利影响,合成角色实现的多样性未转化为更优预测,表明复杂的合成角色构建成本可能并非必要。
上述结论提示未来模型性能提升应更聚焦于数据质量和系统架构,而非过度追求提示设计的复杂性。1 ,1]
2. 逐章节深入剖析
2.1 相关研究回顾
本章节梳理了现有文献:
LLM在宏观经济预测上的应用,如Carriero等人将LLM应用于宏观时间序列预测,Bybee利用经济新闻训练语言模型预测经济变量,Faria-e-Castro和Leibovici展示Google PaLM模型对通胀预测的能力。
利用LLM模拟调查问卷回答和专家判断,诸如Zarifhonarvar关于通胀预期的研究,Hansen等人通过精心设计的专家角色模拟美国SPF问卷。
LLM提示工程相关工作,强调提示内容、形式对输出波动的敏感,以及角色扮演提示(persona prompting)作为提升推理能力的策略。相关研究多暗示角色提示可带来预测精度提升,但本报告得出结论存在差异。
该章节奠定了本研究的方法论基础:使用大量合成提示角色替代手工设计角色,且首次对欧元区SPF进行LLM复制,兼顾了人类和经济实际结果的对比分析。2 ,2]
2.2 数据准备与实验设置
PersonaHub 数据集筛选 :从包含3.7亿条各领域专家描述的庞大语料库,通过多步筛选(关键词过滤、命名实体排除、重复向量余弦相似度剔除、利用GPT对欧央行货币政策相关性/中立性等标准的零样本评分)最终确定2368条符合欧元区专业主义、客观中立且具货币政策深度的经济学家角色文本,样本比例极低(约600万人中仅6个),以确保角色的高度针对性和多样性。
ECB Survey of Professional Forecasters(SPF) :选取2013年第1季度至2025年第2季度共50轮调查,涵盖HICP、核心HICP、实际GDP增长和失业率4个变量,涵盖当前年及未来2年、长期等多预测期。模型版本GPT-4o的知识截止至2023年10月,保证2024-2025年数据皆为外样本,对抗数据泄漏及“记忆”偏差。
提示架构设计 :每条Prompt由四部分组成:系统规则说明(时间定位,输出格式)、合成专家角色描述(可有可无以测试personas效果)、最新ECB官方声明及经济快览、明确预测任务及格式说明。对比了带全角色描述的提示和省略角色单纯的背景任务提示两类,系统严格限定输出JSON格式。
此章节详实呈现数据来源、处理逻辑及严谨的实验设计保证评估结果有效且具可操作性。 3 ,3,4]
2.3 评估指标与方法
评测维度包括:
预测准确度:以平均绝对误差(MAE)衡量,针对每轮调查中的每经济变量及预测时点计算AI预测对实际值的绝对误差,与人类专业预测中位值误差对比。
面板内分歧程度:用标准差(SD)和四分位距(IQR)衡量面板(合成角色或人类)内预测差异大小,反映预测多样性和观点分散程度。
“胜率”指标(win-share):每次预测比较AI与人类预测误差,AI误差更低判为AI“胜出”,统计AI胜出比例并配合基于蒙特卡洛或精确二项测试的显著性检验,考察AI是否显著优于人类。
此外细致区分面板预测的中位值与个体角色表现,使用双尾及单尾假设检验解读统计显著性。达成了科学严苛的比较评测标准。 5
2.4 结果解读
(1)合成角色提示效果消解
通过受控消融实验证实,在完整提示与仅含经济政策语境背景提示间,整体预测误差分布无显著差异。配对t检验显示两者均值差仅0.01个百分点,p=0.31,Kolmogorov-Smirnov检验同样拒绝差异假设。实证证明合成角色精细化提示在宏观经济点预测任务中并不带来性能提升,科学指导AI辅助经济预测更应节约计算资源聚焦其他环节。
(2)面板内预测分歧分析
表3展示AI合成角色预测在所有变量和预测期的内部分歧极小,IQR常接近0,远低于人类专家的广泛分歧(IQR普遍0.17-0.3个百分点)。图示(Figure 2)说明尽管角色多样,AI答案高度趋同且缺乏人类专家固有的观点分化和不确定性表现。
(3)预测准确率
Table 4列明,AI和人类在多数变量和时点的MAE相近,相差极小(部分变量如GDP增长的超过2年期及失业率的当前年预测AI更优,人类在短期失业率和部分通胀预测略优)。且外样本期(2024-2025)精度未明显下降,体现模型具备良好的泛化/适应能力。
(4)胜率分析
Table 5和附录热图揭示,AI在核心通胀领域胜率较高(30%左右),而在GDP和失业率等短期预测上人类胜率优势明显。外样本表现更具变动但数据较少,难下定论。整体胜率差异显著但幅度有限,反映AI预测虽统计优劣可辨,但实际差距不大。
(5)误差分布与置信度
Figure 7进一步展现AI误差分布更集中且幅度更小,表明AI预测更趋中庸而缺失人类专家预测中的极端但有时正确的风险判断能力。6 ,6,7]
3. 图表与数据深入解析
3.1 图1(页面0)
展示了实验流程:
从PersonaHub中文本库370M条中依次进行关键词过滤、命名实体识别排除具体人物、去重、LLM无监督评分,多步骤筛选最终获得2,368条经济相关合成角色。
这些角色与ECB最新政策声明及历史预测分位数数据共同构成输入提示,针对SPF调查中的4大变量及多预测期,模拟生成118,400条AI预测。
最后将AI预测与人类SPF预测比较,实现性能评判。
该流程确保广泛、多样而高度专业的合成专家在多周期多变量下模拟预测,保证评测深度与广度。
3.2 图2(页面1)
核心图,时间序列对比人类(橙色)与AI(蓝色)对欧元区核心HICP通胀的预测及实际走势(黑色虚线)。
可以看到AI预测置信区间明显比人类更窄,几乎成线型轨迹,表明多样角色提示未能产生多样性。
两者中位数预测曲线大体重合,跟踪实际值走势良好,但人类预测波动更明显。
在某些经济冲击点(如2021-2022年疫情及能源危机)人类预测区间更广,含对风险的分歧与不确定预期。
这支撑了模型过于“趋同”且缺乏人类预测多样化视角的结论。
3.3 表3(页面4)
对比AI与人类面板预测的标准差(SD)和四分位距(IQR),系统呈现AI面板多次调研时点预测内部一致性远高于人类专家。
例如GDP当前年SD分别为0.04(AI)对0.18(人类),误差分布峰态明显不同。
这一情况贯穿所有变量和预测期,且随期长、变量不同略有扩散,但趋势稳固。
3.4 表4(页面5)
AI与人类面板平均绝对误差(MAE)对比。
AI和人类多数据点表现接近,差异多在0.01-0.1个百分点之间。
在出样本期,GPT-4o表现依旧稳定,没有显著失准现象。
从统计学和实用角度看大部分场景AI预测可与人类持平。
3.5 表5(页面6)
胜率统计明确体现变量与时点差异:
核心通胀AI胜率较高,GDP和失业率AI胜率整体低于人类,反映AI可能更适合“稳定”通胀变量预测。
出样本胜率波动较大,数据量有限,暂缺充分结论。
3.6 图4(页面6)
核密度估计图显示两类提示(含不含persona)下预测误差分布高度重叠,支持消融实验“persona无显著贡献”论断。
3.7 图5(页面7)
细分变量与预测期误差分布核密度,进一步佐证AI误差较集中、低波动,且在人类专家表现不佳的某些期段表现稳定。
3.8 D部分热图(页面12-15)
按季度、变量、预测时点细分展示AI胜率时序演化,揭示AI胜率明显时段和回撤,反映预测表现非均质,且未来评估需覆核时间结构。
4. 估值与方法论分析
本报告无直接财务估值内容,但在宏观经济预测方法论中应用了如下关键点:
使用多层过滤技术结合自然语言处理(关键词搜索、NER、向量相似度)及LLM零样本评分实现海量生成人物描述的精准筛选。
模拟真实宏观经济预测情境,集成最新政策声明和宏观快照数据,模拟专业经济学家角色参与多轮预测。
多指标评价体系包括线性精度指标及统计显著性检验,兼顾模型性能和预测分布特征。
严密设计对照组实验(persona vs no-persona),有效区分复杂提示结构的实际贡献。
关注模型潜在“记忆”风险,采用预训练截止时间后数据的外样本检验,确保模型泛化验证可靠。
5. 风险因素及局限评估
数据泄漏 :尽管采取了时间截断,语言模型历史知识和公共数据的潜在记忆仍可能影响预测,报告通过外样本验证减轻此风险。
提示工程依赖 :模型对提示敏感性高,报告发现复杂persona设计无显著效果,提示未来需谨慎设计、避免冗余成本。
预测分歧缺失 :AI预测过于一致,缺乏人类专家固有的多样性和风险视角,可能限制其在不确定性管理和政策评估中的价值。
有限外样本数据 :2024-2025年仅6期数据,难以充分把握模型在极端或结构变动期的鲁棒性。
角色描述自动评估准确性 :GPT作为打分者的算法评估与人类专家一致性虽高,但依旧存在误判风险,影响输入角色的质量控制。
未测密度预测 :本研究仅针对点估计,未评估分布预测能力,未来需扩展至概率预测检验。
6. 批判性视角
本研究中尽管采用大量合成角色,角色多样性未能引发预测多样性,这可能表明LLM在该任务下趋于遵循极为严格的“最优”损失最小化策略,而忽视了在真实经济预测中人类专家因背景、认知等多元复杂因素产生的观点分化。
角色筛选及评分依赖自动化LLM判断,虽然与人工一致性较高,但自动流程潜藏偏误,尤其是中立性和立场判定标准可能无法覆盖全部语言表达隐晦意义。
报告基于GPT-4o模型,未来更大或更专业化模型表现可能有差异,不足以完全推论所有LLM均无persona提示增益。
预测误差和胜率的统计显著虽高,但实际差异幅度有限,解读时应谨慎避免过度夸大模型优劣。
对于异常时期的预测表现(例如疫情、俄乌冲突引起的经济冲击),AI表现稳定但缺乏极端预测,可能在政策制定风险评估中的角色受限。
7. 结论性综合
本文成功实现了针对欧洲央行专业预测员调查基准的首次大规模LLM复制实验,关键贡献为:
开发了一套多阶段过滤的合成角色筛选机制,从3.7亿条专家描述中精准确定2300余条具欧洲央行货币政策专业背景且保持中立的高级经济学家角色文本,显著扩展了角色提示的数量和类别多样性。
结合GPT-4o模型在50个季度周期中对四项核心宏观变量进行多预测期点预测,表现出与人类专业预测员近似的准确度,且在训练数据截止后的两年外样本中表现稳健。
实验明确揭示,精细合成角色描述提示对模型预测性能提升无显著贡献,省略角色信息的基础提示能节省计算资源且维持预测质量,提示实际应用中应聚焦于数据和模型架构优化而非复杂提示设计。
AI预测呈现高度的内部分歧极低的共识行为,与人类专家多元化观点形成鲜明对比,这一现象可能揭示LLM在宏观预测任务中的“倾向性共识”机制及其潜在风险。
在图表和实验数据显示:
图2及表3显著反映AI群体预测一致性远超人类,Fig.5核密度图展现低分散且集中错误分布,揭示模型低风险预期特点。
表4误差对比证实AI与人类预测精度整体匹配,少数情形AI甚至优于人类,显示LLM潜在专业经济预测实力。
表5、热图展示AI在核心通胀领域稳健胜率,而在人类擅长的GDP与失业率短期预测占劣势,暗示潜在领域适配限制。
总结而言,GPT-4o等当代大型语言模型具备通过结构化上下文和明确任务指令,实现与人类级别宏观经济预测准确度的能力,而提示角色的精细定制并非提升模型表现的有效路径。该结论为央行及金融机构在构建AI辅助经济决策系统提供重要指导:节约提示设计精力,重视信息融合与模型迭代,探索增强预测多样性和风险度量的替代技术路径。
展望未来,研究者应深入挖掘不包含在本研究中的要素如概率预测、推理链式提示、多变量场景一致性验证,以及更长时间范围和极端宏观事件的泛化能力检测,以进一步夯实LLM在经济政策分析中的应用基础和可信度。1 –15]
(完)