本报告提出利用指令微调结合4-bit QLoRA量化适配技术,基于包含财务指标增长、业绩电话会议内容及外部市场指数和分析师评级的综合数据集,训练大语言模型以提升财报后股票涨跌预测的准确率。实证显示,特别是llama-3-8b-Instruct-4bit模型在准确率、加权F1和MCC上显著优于GPT-4,验证了多因素融合和模型压缩对金融预测的有效性,并探讨了未来加入“持有”选项及延长预测周期的方向。
研究构建了涵盖501家标普500成分股的多维度监督数据集,涵盖内部基础因素(财务指标增长、业绩电话会议)与外部因素(过去一周市场指数表现、分析师评级、盈余惊喜),并将所有数值数据转换为自然语言文本,增强大语言模型(LLM)处理能力 。
框架设计包括基于指令微调的LLM训练和4-bit QLoRA压缩,支持处理最长达25,000 Tokens的长文本数据,以提高预测效率和部署适应性;推理输出为“Long”或“Short”二分类标签,对应次日股价涨跌 。
模型性能对比(表I显示):
| Model | Base Accuracy | Base Weighted F1 | Base MCC | Full Accuracy | Full Weighted F1 | Full MCC |
|---|---|---|---|---|---|---|
| ChatGPT 4.0 | 0.363 | 0.482 | 0.023 | 0.494 | 0.512 | 0.031 |
| gemma-7b-4bit | 0.541 | 0.468 | 0.135 | 0.542 | 0.442 | 0.178 |
| Phi-3-medium-4k-instruct | 0.559 | 0.469 | 0.224 | 0.560 | 0.471 | 0.227 |
| mistral-7b-4bit | 0.556 | 0.556 | 0.112 | 0.550 | 0.497 | 0.122 |
| llama-3-8b-4bit | 0.534 | 0.533 | 0.069 | 0.541 | 0.535 | 0.087 |
| llama-3-8b-Instruct-4bit | 0.550 | 0.533 | 0.104 | 0.573 | 0.565 | 0.154 |
训练过程稳定,fine-tuning loss持续下降(见图2),体现出模型的良好收敛能力和稳定性:
量化适配(QLoRA)采用4-bit进行低秩微调,有效压缩模型参数空间,支持资源受限环境下高效部署,同时保证预测性能未受明显影响 .
未来研究方向包括:增加“持有(Hold)”选项,扩展预测时间窗至周级别,以适应不同投资风格和策略需求 .
报告标题:《Harnessing Earnings Reports for Stock Predictions: A QLoRA-Enhanced LLM Approach》
作者及机构:共十位作者,分别来自哥伦比亚大学、中央财经大学、纽约大学、康奈尔大学、密歇根大学、罗格斯大学以及独立研究员等机构,呈现国际化跨校合作研究。
发布时间:文中无明确具体发布时间,但引用文献截止至2024年,表明为极为前沿的研究。
研究主题:利用结合指令微调和QLoRA压缩技术的大型语言模型(LLM),基于财报数据及外部财经指标,实现对财报发布后次日股价表现的精准预测。
本报告提出了一个以LLM为核心的股票预测模型,针对财报发布后市场反应进行预测。核心论点为:
总体传递的信息是:将最先进的AI微调技术与多维度财务数据相结合,能有效提升财报后股价预测的准确度,助力投资者做出更优决策。,1,4]
报告从传统股市预测手段局限切入,强调历史数据和简单技术指标未能充分反映市场因重大信息披露(尤其财报)的复杂动态反应。财报文本量大且内容复杂,投资者难以高效提炼有价值信息。此外,黑天鹅事件亦显著影响市场。传统ML模型难以处理大量非结构化文本,从而限制了市场反应预测的效果。文中指出,投资者需求更智能、实时动态适应的预测系统,尤其是财报季诱发的市场波动,细致捕捉财报信息对于提高交易策略(如期权交易、对冲等)成功率至关重要。
文中回顾了LLM及深度学习在财经领域的现有应用:有对金融舆情的情感分析,如利用FinBERT和LSTM的混合模型预测股价;以及通过自反省代理和策略优化(PPO)提升模型的可解释性和准确性等,显示了AI在金融领域的重要潜力。研究在此基础上创新性地引入结合内部财务指标与外部宏观及分析师评级信息的多模态输入,丰富模型信息源,提高预测实用性。
报告详细说明了数据来源及构建:
整体体现了数据多样性及由定量转定性文本的创新,使LLM能够从金融数据与语义角度双向理解财报信息。,2]
论文设计了清晰的三大模块(见图1):
特别指出,QLoRA技术基于低秩适配LoRA的同时引入4-bit量化,显著减少内存占用和计算耗时。这种模型紧凑型设计对长文本(平均12375 tokens)处理尤为关键。整体架构兼顾了模型精度和部署效率。
| 模型 | Base准确率 | Base加权F1 | Base MCC | Full准确率 | Full加权F1 | Full MCC |
|---|---|---|---|---|---|---|
| ChatGPT 4.0 | 0.363 | 0.482 | 0.023 | 0.494 | 0.512 | 0.031 |
| gemma-7b-4bit | 0.541 | 0.468 | 0.135 | 0.542 | 0.442 | 0.178 |
| Phi-3-medium-4k-instruct | 0.559 | 0.469 | 0.224 | 0.560 | 0.471 | 0.227 |
| mistral-7b-4bit | 0.556 | 0.556 | 0.112 | 0.550 | 0.497 | 0.122 |
| llama-3-8b-Instruct-4bit | 0.550 | 0.533 | 0.104 | 0.573 | 0.565 | 0.154 |
这些结果说明微调后的量化模型不仅节约资源,同时兼具良好的学习与泛化能力。,4]
报告未涉及传统意义上公司估值(如DCF、P/E等),核心为输入特征统一映射为股票“多头/空头”动作预测,属于分类任务范畴。估值部分应用在模型性能评价指标(如准确率、加权F1、MCC)而非资本市场定价指标。
该图分三部分:
图示逻辑清晰,辅助说明了研制流程和技术细节,增强了文本对模型架构的理解。
报告并未专门设风险章节,但从文本推断,潜在风险包括:
报告在“未来工作”部分对此有所考虑,计划扩展输出类别和预测时间,体现了对模型应用信度和完善性的审慎态度。
本报告展示了利用最新AI技术——特别是结合了指令微调和QLoRA压缩的LLM,在处理和分析财务报表多维数据后进行股价走势预测的先进研究。通过细致的数据收集,包括内部财务同比增长、财报电话会议原文、外部市场指数表现、分析师评级以及盈余意外信息,构建了涵盖8,556条样本的丰富文本数据集。文本化处理极大提升了模型理解能力和数据表达力。
模型训练和评估表明llama-3-8b-Instruct-4bit模型在结合“Full”多因素数据时表现最好,准确率提升至57.3%,相较GPT-4提升约16%。训练过程稳定,损失平滑下降,说明该方法对金融领域的适用性强。多项评价指标的系统对比,进一步证实了使用指令微调和量化适配优化后模型的综合表现优势。
图1清晰描绘了从数据构建、微调到推断评估的整体流程,图2展示了训练过程的有效性,表1量化了模型之间的绩效差异,为后续金融AI模型研发提供了切实参考。
报告最后指出二分类标签限制和预测时间窗口过短为未来改进重点,考虑引入“Hold”类和延长预期期限,以契合不同投资策略。总体而言,该研究为金融文本分析领域的AI应用树立了标杆,提示结合多源数据及高效模型压缩与微调,能够显著提升财报后股价走势预测的可靠性和实用性。
报告引用多篇2023-2024年的最新文献,涵盖LLM应用、金融文本情感分析、模型微调与压缩技术,体现良好的学术与技术前沿背景支撑。
总结
该报告全面整合现代金融多维数据资源,创新采用LLM指令微调结合QLoRA量化技术,有效克服传统方法对财报文本理解的瓶颈,显著提升股价走势预测能力,具备投资应用的实践指导意义,同时明确指出未来扩展方向与潜在风险,展示了前沿AI技术融入金融分析的真实、系统与可行路线。
2408.06634.pdf