本论文提出SAE-FiRE框架,利用稀疏自编码器对上市公司财报电话会议文本进行特征提取与选择,有效抑制冗余噪声。通过统计筛选判别性激活特征,结合逻辑回归模型,实现对财报盈余意外方向的准确预测。实验证明该方法在准确率、加权F1和AUC指标上显著优于多项基准模型,且通过透明的特征解释提升模型可解释性。
| 层数 | 准确率 | AUC | F1 |
|---|---|---|---|
| 5层 | 0.789 | 0.632 | 0.735 |
| 12层 | 0.793 | 0.657 | 0.743 |
| 20层 | 0.788 | 0.635 | 0.740 |
报告题目:SAE-FiRE: Enhancing Earnings Surprise Predictions Through Sparse Autoencoder Feature Selection
作者:Huopu Zhang, Yanguang Liu, Mengnan Du
发布机构:Georgia Institute of Technology 和 New Jersey Institute of Technology
联系方式:hzhang931@gatech.edu, yanguang.liu@njit.edu, mengnan.du@njit.edu
主题:基于稀疏自编码器(Sparse Autoencoder, SAE)特征选择技术的收益惊喜(Earnings Surprise)预测模型研究
本报告聚焦于利用企业财报电话会议(earnings conference calls)文本内容,预测企业下一季度的收益惊喜表现。收益惊喜指实际财报业绩与市场分析师预期之间的差异,是投资决策中的关键量化指标。报告提出了一种全新框架 SAE-FiRE(Sparse Autoencoder for Financial Representation Enhancement),通过稀疏自编码器对大型语言模型(LLM)特征的稀疏表达进行选择,去除冗余信息,提炼强预测信号,显著提升预测准确度。该框架在多个性能指标上超越多种基线模型,表明该方法在实际投资场景中的泛化能力和鲁棒性皆具备较强竞争力。,1]
核心贡献包括:
报告开篇介绍了财报电话会议文本作为未来业绩预测的重要信息源,因其反映管理层对业务的解释和市场预期的调整,成为预测收益惊喜的宝贵非结构化数据。然而,文本数据包含冗余句式、行业术语,以及大量样板语言,给机器学习建模带来噪声干扰与过拟合风险。此前模型容易陷入无意义的相关性,泛化能力不足。SAE被认为是一种能够识别和解耦语义特征的有效工具,适合从大规模LLM隐层表示中提取可解释的稀疏激活信号,从而剔除无关信息,增强模型判别能力。
LLM隐层表示(Hidden Representations):采用解码器架构(如GPT类模型),利用残差连接传递token级特征信息。模型每层的最终token表示可视为该序列的综合摘要,本文以此类表示作为原始输入特征。
稀疏自编码器(SAE):将LLM的密集隐层向量映射到一个高维但颇为稀疏的激活向量表示空间,借此分离并解释复杂的神经特征。编码器和解码器矩阵分别治输入和重构,通过非线性激活函数(如TopK-ReLU)实现稀疏性,便于识别关键信号和剔除无效噪声。
SAE-FiRE架构包括三个关键步骤:
特征获取:通过预训练模型Gemma2的SAELens插件,获得每个token在残差流中的SAE激活向量。通过Token级sum pooling将该激活序列合并为固定长度向量,作为全文档的全局特征摘要。
特征选择:基于收益惊喜标签,将文档向量的各维度特征按ANOVA F-test和基于梯度提升树的重要度两种统计指标分别评分,然后取排名前k个用于后续分类,减少维度,剔除冗余。
模型拟合:对筛选后的k维向量输入以L2正则化的逻辑回归模型,利用5折交叉验证优化超参数并训练,最终对收益惊喜做二分类预测(正负惊喜)。
此方法明确将特征选择作为噪声抑制与模型简化的关键环节,提高了下游预测模型的泛化性能和训练效率。
该图展示了从文本Token输入到LLM的Transformer Block中提取残差流激活,经过预训练稀疏自编码器的编码-解码过程,得到Token级的稀疏激活,再通过求和池化形成全局向量,最终用特征选择并输入线性分类器进行二分类预测。图示清晰表达了信息流向和特征处理逻辑,凸显了SAE在消除冗余、筛选信号中的核心作用。
| 数据集分割 | 起始日期 | 结束日期 | 样本数 | 平均字数 | 最大字数 | 平均句子数 | 平均句长(词) |
|---|---|---|---|---|---|---|---|
| 训练 | 2012-01 | 2013-12 | 6147 | 8507 | 58989 | 444 | 20 |
| 验证 | 2014-01 | 2014-06 | 1788 | 8404 | 66778 | 443 | 20 |
| 测试 | 2014-07 | 2014-12 | 1389 | 8818 | 68992 | 468 | 20 |
说明该数据包含大量长文本,典型长度在8000-9000词,句子数约为440-470,构建了真实世界复杂且具有代表性的金融文本回归预测任务。
该图比较SAE-FiRE与基于最后隐藏层状态特征(带MLP和逻辑回归)以及全特征的MLP、XGBoost模型。SAE-FiRE在F1得分(0.745以上)、AUC(0.66以上)、准确率均明显领先,展现了显著性能优势。
图中展示了ANOVA与树基特征选择随着选取特征数量(k)从500到6000时,F1、AUC、准确率的趋势。结果表明:
输出模型需要适度调节特征数量,避免欠拟合和过拟合。,11]
| 模型 | 准确率 | AUC | F1 |
|---|---|---|---|
| Last Hidden State + LR | 0.761 | 0.628 | 0.737 |
| Last Hidden State + MLP | 0.770 | 0.634 | 0.731 |
| SAE-FiRE (2B 16K) | 0.793 | 0.657 | 0.743 |
| SAE-FiRE (9B 131K) | 0.801 | 0.668 | 0.757 |
结果显示,模型规模及所用SAE激活的维度数越大,表现越好,说明模型容量和表达维数充足带来更佳特征提取能力和预测精度。
| 层数 | 准确率 | AUC | F1 |
|---|---|---|---|
| 5 | 0.789 | 0.632 | 0.735 |
| 12 | 0.793 | 0.657 | 0.743 |
| 20 | 0.788 | 0.635 | 0.740 |
中间层激活表现最佳,说明该层在语言模型形成抽象表示时兼顾了底层语法和高层语义特征,最适合挖掘财报文本关键信息。
顶层激活特征包含多维度语义类别:
这表明SAE在分离财报文本中多层面信息、上下文语义以及语气等细节信号方面能力强,帮助模型挖掘出与收益惊喜密切关联的潜在因素。,15]
该研究不涉及典型的企业估值或财务估值模型,而是关注基于语言模型隐层表示的机器学习分类任务。
因此,估值框架是嵌套在特征工程和分类训练流程中的机器学习泛化性能评价。,3]
报告未针对财务风险因素进行传统意义上的评估,但可从模型构建层面总结关键风险:
尚未提及直接缓解方案,但报告建议未来细化和扩展方法以规避此类风险。
报告充分强调SAE的解释能力,但基于神经元激活的“语义标签”来自人工开放注释库Neuronpedia,存在一定主观性和语境依赖,解释性是启发而非决定性证据。
实验中采用的sum pooling虽然简单有效,但可能忽略文本顺序的动态关系,对高度结构化的财报内容结构把握有限。
样本截断至20000 token,长文截断可能舍弃部分重要信息,不同样本长度差异较大,影响归一化的结构表达。
研究主要集中于英文、美国市场财报数据,对跨域、跨语言以及非成熟市场适用性未来仍需验证。
尽管模型表现优异,实际收益惊喜对非文本因素(宏观经济、行业变动)敏感度未显式纳入。
权衡模型复杂度与预测实用性的讨论有限,尤其是超大模型在实时金融环境应用的实际可行性。
本文提出的SAE-FiRE框架针对企业财报电话会议的长文本信息稀疏特征提取问题进行了创新性建模:
使用Gemma2大型语言模型提取残差流隐藏状态的SAE稀疏激活,通过token级sum pooling形成全局特征向量,提高语义信息捕捉能力。
采用基于ANOVA和树模型两种统计指标的特征选择机制,有效筛除冗余与噪声,强化类别间判别。
利用L2正则逻辑回归实现收益惊喜二分类,使用5折交叉验证确保结果稳健。
实验结果表明,所提SAE-FiRE模型在加权F1、AUC和准确率指标上均优于基线模型,且模型容量和选择层次的调整对表现有显著影响,最佳性能选取中间层激活和合理的特征数量。
通过Neuronpedia注释,模型关键特征语义覆盖法律、财务、政治、城市和医学等多个领域,增强预测解释力。
该框架对长文本、高维金融数据的噪声抑制和潜在信号捕获提供了新思路,展现了利用现代深度学习解释性技术辅助传统财务预测的可能性。
报告指出未来可扩展到多模态输入(如财报电话会议的音频信号)及跨语言应用,进一步提升模型性能和金融应用价值。
图表深刻揭示:
特征选择中树基模型的优越性及特征数量的“最佳阈值”规律,折线图清晰映射精细参数调整对模型性能的影响。
ROC曲线明确体现SAE-FiRE相比传统基线的优异判别能力。
模型大小和层位置选择影响SAE表示质量,从中间层抽取的稀疏激活能更好平衡信息量与抽象性。
整体而言,本研究结合最前沿的神经网络解释技术与金融文本分析,构筑了高效准确的收益惊喜预测模型,既突破了传统文本冗余噪声难题,也为未来金融文本智能分析指明了方向。,15-18]
该报告通过创新应用稀疏自编码器,优化大型语言模型局部隐藏状态表达,总结提炼敏感的财报电话会议信号,实现了收益惊喜预测任务上优异的性能表现和较强的解释能力,具备较大实用价值和未来发展空间。
(全文引用页码标识遵循上述每段标注,方便追溯)
2505.14420.pdf