本文研究大型语言模型在在线借贷反事实分析中的应用,利用GPT-3.5结合提示工程和机器学习预测生成替代利率下的贷款投资回报率。结果显示,角色扮演、思维链和思维树等方法显著提升预测能力,GPT的ROI预测R²由1.97%提升至2.84%,接近梯度提升回归的3.48%;在反事实情景中,GPT生成的结果具有较强逻辑一致性,并能对机器学习预测进行补充和修正。
报告标题:《Counterfactual Analysis via Large Language Models》(基于大型语言模型的反事实分析)。
作者: Zonghao Yang,Stevens Institute of Technology。
日期: 2024年6月14日。
研究主题: 探讨大型语言模型,尤其是GPT-3.5,在在线借贷场景中生成贷款反事实结果的可行性。报告聚焦于一个核心问题:如果同一笔贷款采用不同的利率,借款人是否仍会还清贷款、何时还清或发生违约,以及贷款人的投资回报率(ROI)将如何变化。
报告的核心论点是:虽然GPT最初在结构化贷款预测任务上的表现弱于传统机器学习模型,但通过角色设定、平台统计信息、机器学习预测、链式思维(chain-of-thought)和树式思维(tree-of-thought)等提示工程方法,GPT的预测性能明显提升,最终接近梯度提升回归模型;同时,GPT并非简单复制机器学习模型的结果,而是能够对机器预测进行重新评估,并生成具有一定因果逻辑的反事实结果。
报告没有采用传统证券研究中的股票评级或目标价,而是以方法论验证为主。作者希望传达的主要信息并不是GPT已经能够精确估计真实反事实,而是:在反事实结果不可观测、传统模型主要捕捉相关性而非因果机制的情况下,经过适当设计的LLM能够成为一种具有解释性、灵活性和人机协同特征的新型反事实分析工具。
反事实分析研究的是“如果采取另一种行动,结果会怎样”。报告以班级规模、邮件主题个性化以及手术方式等例子说明,研究者通常只能观察现实中已经发生的结果,却无法同时观察同一个对象在另一种处理条件下的结果。
在在线借贷中,平台能够观察某笔贷款在原始利率下是否还清、何时还清以及产生多少还款,但无法直接观察“如果利率更低或更高”时同一借款人的还款行为。因此,替代利率下的ROI属于不可观测的潜在结果,必须通过模型构造。
作者选择LLM的理论理由是,LLM不仅能够处理文本,还在大规模、多来源数据上进行预训练,因此可能拥有比单纯结构化模型更丰富的背景知识、情境理解和类似人类的行为模拟能力。 不过,这一论证隐含一个重要假设,即预训练语料中的一般性知识能够迁移到具体的LendingClub借贷数据,并且能够帮助模型识别利率变化与借款人行为之间的关系。
报告提到的传统反事实方法包括匹配、随机对照试验、生存分析以及回归型的约化模型。 在贷款领域,Johnson等人通过识别定价效率较高的贷款样本,并回归实际ROI与利率及借款人特征之间的关系来推断替代利率下的ROI。
Gopal等人的方法则将贷款偿还视为生存过程,使用混合治愈模型(mixture cure model)预测贷款是在何时结清还是被核销,再依据贷款状态和持续时间重构现金流与ROI。 生存分析的优势在于能够处理“事件是否发生”与“事件何时发生”两个维度,这也是本文将ROI拆分为贷款状态和贷款期限的理论基础。
作者认为,LLM相较于这些模型的潜在优势在于输入输出更加灵活、信息集更广,并且可以通过自然语言形成可解释的推理过程;但报告也承认,预测能力最强的模型不一定最适合构造反事实,因为纯预测算法通常学习的是历史相关性,而不是利率改变后借款人行为如何发生机制性变化。
研究使用了894,013笔LendingClub贷款,贷款发放时间覆盖2013年至2017年5月,数据整理时间延伸至2020年。贷款均为线上发放的无担保个人贷款,期限为36个月,数据包含83项贷款和借款人特征。
关键变量包括贷款金额、利率、贷款用途、借款人总收入、FICO评分、债务收入比,以及贷款是否全额偿还、何时偿还或被核销、累计偿还本金和利息等。
样本的平均贷款金额为12,647美元,平均利率为11.9%,核销率为12.24%,平均ROI为4.50%。ROI基于累计折现还款额计算,作者将每月还款按2%的年折现率折现并加总,再将累计折现支付与初始本金比较。 这意味着ROI并非简单的名义利息收入,而是考虑了回款时间价值和信用损失后的投资收益指标。
样本被划分为训练集和测试集:2013年发放的94,605笔贷款用于训练基准机器学习模型,其余2014年1月至2017年5月的799,408笔贷款作为测试集和GPT调试数据。预测实验从测试集中随机抽取10,000笔贷款。 这种时间顺序划分能够一定程度上避免使用未来信息预测过去,但报告没有进一步说明GPT提示设计是否存在反复使用测试样本、人工调参导致的样本适配问题。
图1比较了LendingClub原始利率与Gopal等人提出的替代利率分布。两者均呈右偏分布,利率范围约为5.3%至31.0%;LendingClub平均利率为11.9%,替代利率平均低约0.3个百分点,与原始利率的平均偏差为2.8%。
从图形上看,蓝色的LendingClub利率呈现大量尖锐的离散峰值,说明原始贷款利率可能集中在若干标准化定价档位;橙色替代利率曲线相对平滑,整体形状相似但略向左移动。该图支持作者关于“替代利率总体较低、但并未完全改变样本利率分布形态”的判断。
这一设计具有两个含义:第一,替代情景并非极端利率冲击,而是相对接近现实的定价变化;第二,由于替代利率平均只低0.2%至0.3%,理论上其对违约率和ROI的影响应该相对温和。因此,后文混合治愈模型将核销率从12.34%降至6.22%的结果显得较为激进,也成为作者质疑传统模型反事实结果的重要依据。
作者首先要求GPT扮演借款人,根据其信用资料和贷款信息预测还款结果。该提示下,GPT预测仅有1.7%的贷款会被核销,而真实核销率为12.3%;F1分数仅为4.7%,AUC为50.5%,接近随机分类,ROI预测的R²为1.97%。
F1分数是综合精确率和召回率的分类指标,适合处理违约样本相对较少的情形;AUC衡量模型区分正常还款与核销贷款的排序能力,50%左右意味着区分能力很弱;R²则衡量模型解释ROI波动的比例。1.97%的R²说明GPT只能解释非常有限的ROI差异,这也反映出贷款ROI本身受到借款人行为、提前还款、违约时点等多重因素影响。
相比之下,XGBoost在贷款状态分类中的F1为35.4%、AUC为64.3%,梯度提升回归的ROI R²为3.48%,均优于最初的GPT提示。 作者因此没有将LLM直接视为传统机器学习的替代品,而是进一步研究如何通过提示工程改善其表现。
表1比较了不同提示设计下的分类和ROI预测结果。虽然原文展示的表格内容并未完整转录,但正文明确描述了从列(1)到列(7)的逐步改进路径。
这一组结果说明,提示工程不是形式上的语言包装,而是直接影响模型预测机制的关键方法。角色设定改变了回答动机,平台统计提供了参照系,ML预测提供了结构化基准,链式和树式思维则促使模型进行分步分析和观点修正。
图2展示了最终使用的预测提示。提示要求四名信用风险专家结合贷款特征、借款人信用状况、平台统计和机器学习预测进行讨论,最后以JSON格式输出“status”和“duration”两个字段,例如“Fully Paid”和19个月。
该设计的优点是将自然语言推理与结构化输出结合起来。长文本部分用于产生解释和评估,JSON部分则便于批量计算ROI。报告认为,四专家树式思维能够通过相互质疑、承认错误和迭代修正提升结果质量。 但需要注意,模型输出的“推理过程”并不必然等同于真实内部决策过程,文本逻辑连贯也不必然证明因果关系正确。
作者采用Chong和Hendry提出的forecast encompassing test,将LLM预测和ML预测同时放入回归中。如果LLM系数显著为零,说明ML已经包含LLM的全部信息;如果LLM系数显著为正,则表明LLM能提供额外信息。
基本提示下,LLM系数为1.71%,但统计上无法区别于零,说明初始GPT预测的增量价值有限。 在加入机器学习结果、链式思维和树式思维后,系数上升至3.73%和5.19%,并在1%水平显著,支持GPT并非简单复述ML结果的结论。
不过,该检验主要说明两类预测在统计预测层面存在增量信息,并不能单独证明GPT掌握了真实的因果机制。尤其在反事实场景中,真正重要的是模型在未观测利率下是否能保持合理的结构关系,而不是仅仅提高已观测结果的预测精度。
作者在反事实提示中加入四类信息:贷款和借款人特征、平台统计、原始利率下的实际结果,以及混合治愈模型对新利率下结果的预测。 原始结果被用作“锚点”,目的是将已观察到的现实结果与替代利率下的潜在结果连接起来。
示例贷款在原始14.99%利率下于36个月全额偿还;当利率改为13.08%时,混合治愈模型预测其将在8个月内偿还,而GPT预测仍为全额偿还,但期限为22个月。 图3展示了该反事实提示,图4展示了GPT的详细响应。
在图4中,四名专家都认同降息有助于还款,但没有接受机器模型“8个月还清”的过于乐观预测;他们同时注意到借款人较高的循环信用利用率和信用余额,因此最终选择20至24个月的较保守区间,GPT输出22个月。
这个案例体现了作者所强调的“人机协同”:机器学习模型擅长从结构化历史数据中提取模式,LLM则能够用自然语言解释利率变化、信用利用率和还款期限之间的关系。 但该案例也存在明显的主观性,GPT所谓的因果解释主要来自提示中的一般信用风险常识,而非经过识别策略验证的结构模型。
作者指出,LLM具有随机性,即完全相同的提示可能产生不同回答;作者认为这种随机性可以反映借款人行为和贷款结果本身的不确定性。 这一点在生成反事实时可能有价值,因为真实反事实往往不是确定值,而是潜在结果分布。
然而,如果模型输出用于信贷定价或监管决策,随机性也可能导致结果不可重复、难以审计。报告没有系统提供不同温度参数、重复抽样、置信区间或预测分布,因此尚不足以判断这种随机性究竟代表合理的不确定性,还是模型生成噪声。
表2比较了三种情形:原始LendingClub利率、混合治愈模型生成的替代利率结果,以及GPT生成的替代利率结果。
主要结果如下:
作者认为,6.22%的核销率几乎较原始水平下降一半,与仅约0.2个百分点的平均降息幅度相比可能过于剧烈;GPT的9.65%更接近原始核销率,因此被视为对机器模型潜在错误的修正。 但这一判断仍然属于逻辑合理性比较,而不是通过真实反事实数据验证。事实上,降低利率可能确实对部分高风险借款人的偿还能力产生非线性影响,因此不能仅凭幅度直觉否定混合治愈模型。
作者进一步提出两条场景逻辑规则:第一,原本已核销的贷款在利率上升后仍应核销;第二,原本已全额偿还的贷款在利率下降后仍应全额偿还。 GPT结果中,85.3%符合第一条规则,99.6%符合第二条规则。 这表明GPT大多数时候遵循了作者预设的单调性逻辑,但第一条规则仍有14.7%的违反率,说明模型在高利率反事实中存在不可忽视的不一致。
反事实不可直接验证。 报告承认,替代利率下的真实ROI不可观测,因此只能通过实际结果预测能力、因果逻辑和单调性规则间接评估。 这意味着“表现良好”更多代表模型输出看起来合理,而不等同于已经证明反事实准确。
预测能力整体仍然较弱。 即使最佳GPT提示的ROI R²为2.84%,仍只能解释ROI波动的一小部分,低于梯度提升回归的3.48%。 因此,作者关于LLM“适合”反事实分析的结论,应理解为方法潜力,而不是成熟的高精度预测系统。
提示工程可能引入人为选择偏差。 角色、专家人数、平台统计和ML预测均由研究者设计,最佳提示是从多个方案中筛选出来的,若没有独立验证集,最终效果可能部分反映提示对测试样本的适配。
因果推理与文字解释之间存在差距。 GPT能够给出“降息提高还款能力、信用利用率延长还款期限”等连贯解释,但语言上的可解释性不能证明其使用了正确的因果机制。
规则假设可能过强。 “降息后已全额偿还贷款仍全额偿还”以及“升息后已核销贷款仍核销”的单调性规则具有直觉合理性,但真实借款人可能存在提前还款、利率敏感性异质性和策略性行为,因此这些规则不一定普遍成立。
公平性议题并未深入展开。 替代利率来自解决原始LendingClub利率公平性问题的研究,但本文主要把它当作方法展示工具,并未进一步评估GPT反事实是否改善了不同借款群体之间的公平性。
总体而言,报告构建了一条清晰的方法链:先用实际贷款结果检验GPT的预测能力,再通过预测包容性检验判断GPT是否提供ML之外的信息,最后利用原始结果、替代利率和混合治愈模型预测生成贷款反事实。
表1显示,提示工程是决定GPT表现的关键因素:从借款人角色、信用专家角色,到加入平台统计、ML结果、链式思维和四专家树式思维,ROI R²从1.97%提升至2.84%,分类性能也接近传统机器学习模型。 表2则显示,GPT生成的替代利率ROI为3.68%、核销率为9.65%,相较混合治愈模型的4.34% ROI和6.22%核销率更保守,且更接近原始核销率。
作者最终主张,LLM的价值不在于完全替代机器学习,而在于将结构化预测、广泛知识、自然语言解释和反思式推理结合起来。报告还指出,角色扮演、链式思维和树式思维可以显著增强模型表现,LLM同时表现出社会期许偏差和超越机器预测的增量信息。 最审慎的解读是:本文为LLM参与反事实分析提供了有吸引力的初步证据,但距离可用于真实信贷定价、风险管理或监管决策,还需要更严格的因果识别、外部样本验证、重复性测试、不确定性量化和公平性评估。
2608.05367.pdf