本文研究如何利用冻结大语言模型的内部激活来度量文本中的ESG概念内容,并比较线性探针、RFM概念向量、嵌入模型及传统表面特征的效果。结果显示,线性探针无需任务特定微调即可接近微调分类器,在环境、社会和治理数据集上的准确率差距分别为0.6、1.0和2.1个百分点;其在12次比较中有11次优于模型自身的问答输出。RFM方法虽然分类表现较弱,但能够生成连续概念强度分数,未来仍需带有等级标签的数据验证。
| ESG支柱 | 最佳线性探针准确率 | 最佳RFM准确率 | 嵌入基准准确率 | 最佳微调模型准确率 |
|---|---|---|---|---|
| Environmental | 0.951 | 0.946 | 0.943 | 0.957 |
| Social | 0.924 | 0.886 | 0.925 | 0.934 |
| Governance | 0.876 | 0.866 | 0.836 | 0.897 |
报告标题为《Measuring Concept Content in Text from LLM Activations: ESG Evidence from Concept Vectors and Linear Probes》,作者为 Luc Hazenoot、Zhaochun Ren 和 Amirhossein Zohrehvand,发布机构为 Leiden Institute of Advanced Computer Science、Leiden University,日期为 2026 年 8 月,研究主题是利用大型语言模型(LLM)的内部激活值来测量文本中的概念含量,具体以金融文本中的环境、社会和治理(ESG)内容为实验对象。
报告的核心问题不是“文本中是否出现了某些ESG关键词”,而是文本整体在多大程度上表达了某个概念。作者认为,传统词典计数、主题模型和词嵌入相似度主要观察文本表面使用了哪些词,而LLM内部激活可能包含一种更接近读者判断的“概念表征”。 因此,报告比较了两类基于冻结LLM激活的提取方法:较简单的线性探针(linear probing)和基于递归特征机(RFM)的概念向量(concept vectors),并与嵌入模型、词典和主题模型等表面基线、同一模型直接回答“是/否”的结果,以及领域微调分类器进行比较。
最重要的结论是:冻结模型上的线性探针表现最好,在环境、社会和治理三个任务上分别距离最佳微调模型约0.6、1.0和2.1个百分点;它在12次模型—任务比较中的11次超过同一模型直接给出的答案。 这说明LLM的内部激活确实可能保留一些最终回答没有表达出来的概念信息。与此同时,作者原本预期RFM概念向量会优于线性探针,但实验结果相反:线性探针在12个可比组合中的11个胜出。 RFM的主要独特价值不在分类准确率,而在于可以产生一个连续分数,用于描述概念在句子中“有多强”,但这一连续含义尚未得到带有程度标签的数据验证。
报告基于“线性表征假设”:复杂概念可以在某一层的高维激活空间中表现为一个方向。解码器式LLM逐层处理输入,每个token在每层都会产生一个激活向量;由于因果注意力机制,最后一个token能够看到此前全部token,因此其激活可以被视为整个句子的某种摘要。 不同层可能承载不同类型的信息,较早层偏向低级特征,中后层更可能编码抽象语义。
概念向量可以用于两种任务:一是把向量加入模型激活中,从而“操控”模型向某个概念移动;二是将新文本激活投影到该向量上,以监测概念活跃程度。本报告只研究后一种监测用途。 其理论动机是模型内部知道的内容可能多于它最终说出的内容,且已有研究显示线性探针能够从冻结模型中读取地点、时间等连续信息。
线性探针本质上是在固定的激活空间上训练一个轻量级线性分类器。分类器寻找一个能够最大程度区分“概念存在”和“概念不存在”的方向,最终的决策分数被解释为概念在激活中的表现强度。 本研究采用逐层RidgeClassifier,再通过逻辑回归元学习器将各层输出组合起来,形成堆叠式架构。
RFM则先在激活上训练具有非线性的预测器,再计算平均梯度外积(AGOP)矩阵。AGOP用于衡量不同方向对区分类别的重要性,随后通过特征分解提取最大特征值对应的前五个特征向量,将它们作为概念向量。 第一特征向量理论上是最能区分类别的方向,前五个向量的平均则试图捕捉分散在多个方向上的概念信息。
两者的任务目标并不完全相同。线性探针只需要找到一个有效的分类边界,而RFM概念向量必须自身成为一个可解释、可投影并可产生连续分数的概念方向,因此后者要求更强。 这也解释了为什么RFM在分类上未必优于探针,但在“概念强度测量”方面具有潜在额外价值。
由于每个句子会产生一串token激活,而分类器需要一个固定长度向量,作者比较了三种池化方式:
实验结果没有显示某一种池化策略在所有ESG维度上都占优:环境任务中最后token最好,社会和治理任务中最大池化最好。 作者推测环境任务较容易,最后token已经包含足够丰富的摘要信息;社会和治理更难,最大池化可能更适合捕捉少数强烈但局部的概念信号。
数据来自Schimanski等人于2024年建立的人工标注ESG数据集,每个ESG支柱包含2000个句子,原始语料规模为1380万句,来源包括年报、责任报告、可持续发展报告和新闻文章。 每个任务由1000个共享句子、750个领域句子和250个通用语言句子组成,每个句子只有二元标签:0表示该领域概念不存在,1表示存在。
共享句子分别针对环境、社会、治理进行标注,因此同一句话可能同时具有多个正标签。750个领域句子中,500个依据领域关键词筛选,250个未进行关键词筛选;关键词筛选也会引入噪声,例如“green”可能指交通信号灯而非环境。 这表明数据集虽然有人类专家标注,但概念边界并不完全客观,尤其是治理概念可能存在较高歧义。
模型方面,研究使用Llama-3.1-8B-it、Qwen-3-8B-it、Qwen-3-14B-it和Gemma-4-31B-it。前述模型的层数分别为32、36、40和60层;Gemma因规模较大采用8-bit量化。 嵌入基线采用Qwen-3-embedding-8B,再将嵌入输入逻辑回归模型,并通过五折交叉验证评估。
RFM使用1000句训练集、500句验证集和500句测试集,从训练激活中提取前五个AGOP特征向量,并在使用前依据训练标签调整向量方向。 新句子的激活与概念向量计算余弦相似度,再跨层、跨向量平均,最后在每个ESG支柱内进行-1到1的最小—最大缩放。 需要特别注意,RFM报告中的阈值是在被报告的测试划分上重新搜索得到的,这会使准确率接近该测试集上的最佳可实现值;作者也承认,如果在验证集固定阈值再应用到测试集,F1平均下降0.025,最坏下降0.136。
线性探针则使用嵌套五折交叉验证,以避免元学习阶段的数据泄露;各层先独立训练强L2正则化的RidgeClassifier,再由逻辑回归整合层级分数。 这种设计在统计上比直接在全部数据上训练和评估更稳健,但也意味着线性探针与RFM原始结果最初并非完全在相同训练材料上比较,因此作者进一步进行了同训练集、同测试集的对照实验。
报告提到表1展示三个ESG领域的标注者间一致性,表2展示三个2000句数据集的标签分布。 但当前提供的正文没有呈现表1、表2的具体数字,因此无法逐项复核一致性系数或正负样本数量。能够确认的是,作者特别指出标注者一致性并非100%,且治理数据集的一致性最低;这与治理任务在所有模型中的较低表现相一致。
表3、表4、表5分别报告环境、社会和治理任务的AUC、准确率、F1、精确率和召回率。 正文中披露的关键结果如下:
这些结果呈现出清晰层次:微调模型在三个支柱均最好;线性探针总体优于RFM和嵌入基线;治理是最困难的任务,环境是最容易的任务。 在相同1000句训练、500句测试条件下,线性探针在12个模型—支柱组合中的11个优于RFM,平均领先2.9个百分点,说明优势不只是源于评估协议不同。
图1将RFM前五个概念向量平均分数缩放到[-1,1],绿色表示正确分类,红色表示错误分类,虚线表示准确率最优阈值。 图像如下:
环境图中,负类正确样本集中在约-0.75,正类集中在约0.65,错误样本数量较少且分散,图示出明显的双峰分离。社会图也出现负类约-0.70、正类约0.75的双峰,但错误样本在0附近形成较为分散的中间区域。治理图的类别分离最弱,错误样本明显集中在约0.25至0.50,并且主要是假阳性。 图中环境正确样本为470、错误样本为30,社会为412对88,治理为400对100;这些计数直观对应环境最容易、治理最困难的结论。
作者提醒,阈值不应被解释为“真正的概念零点”,因为分数已经在每个支柱内部做了最小—最大缩放,0只是观测范围的中点,而不是余弦相似度为零的位置。 因此,图1证明的是分数具有一定分类排序能力,而不能证明其绝对数值已经代表概念含量的真实比例。
附录表6考察治理任务中Gemma与RFM在不同wrapper下的结果,作者指出仅把结尾从“answer:”改成“final answer:”就会造成2.6个百分点的准确率变化,六种wrapper之间的结果跨度达到9.4个百分点。 这说明提示包装不是无关紧要的格式选择,而可能直接改变激活空间中的概念方向。
表7列出治理任务中RFM最有信心却预测错误的五个句子。 作者认为其中一些假阳性确实涉及治理话题,另一些假阴性则可能缺少明显治理表达,说明部分“错误”可能源于标签边界本身,而不是模型完全失效;不过报告没有重新组织专家进行复核,因此不能据此推翻原始标签。
作者还让同一模型直接回答“该句是否包含某ESG概念”,并用模型对“Yes”相对于“No”的概率计算AUC。 线性探针在12次比较中的11次超过模型自身回答,平均高出0.043 AUC;唯一例外是近似平局。 这为“激活包含比输出更多的信息”提供了直接实验证据。
词典方法和主题比例表现明显较差,例如治理任务中概念词典的F1只有0.128,而最佳探针为0.757,25主题模型为0.373。 但报告也保持了一定谨慎:TF-IDF加逻辑回归在治理任务达到0.894 AUC,甚至高于所有RFM配置,只是准确率仍比最佳探针低2.0个百分点;在环境和社会任务上,探针相对TF-IDF的准确率优势分别扩大到6.9和6.0个百分点。 因此,论文并不能证明激活方法优于一切文本分类器,只能说明它明显优于简单词典、主题比例,并在多个任务上接近或超过传统强词法基线。
本报告不是股票研究报告,没有企业目标价、DCF、P/E或EV/EBITDA等金融估值内容。其“评价”主要是机器学习分类性能,包括AUC、准确率、F1、精确率和召回率,而非资产价值估算。
从资源成本看,作者称每个模型、每个ESG支柱的激活提取和概念向量拟合在单张H100上低于四分钟,完整线性探针含嵌套交叉验证约五分钟。 这比领域微调更节省数据收集和模型训练成本,但并不意味着零成本,因为仍需运行大模型、保存高维激活,并准备少量带标签样本。
标签噪声和概念边界风险:ESG标签是二元标签,而环境、社会、治理概念经常重叠;关键词筛选也会引入语义误判。 治理一致性最低且错误更多,说明模型性能可能部分反映标注困难,而非纯粹的概念理解能力。
RFM阈值存在乐观偏差:测试集阈值被重新优化,准确率可能高估真实部署中固定阈值的表现;F1尤其敏感。 这是解释RFM结果时必须重视的评估限制。
wrapper选择高度不稳定:六种包装方式产生9.4个百分点的差异,且最优wrapper随模型变化。 因此,模型、提取方法和提示设计的效果尚未完全分离,RFM较弱究竟源于算法还是wrapper质量,仍不确定。
模型覆盖不完整:Gemma的线性探针因硬件内存不足未能进入表格,作者认为这是硬件限制而非方法限制,但这使“不同模型之间的全面比较”存在缺口。
连续分数尚未被验证:RFM分数被描述为概念强度,但现有数据只有0/1标签,无法检验分数是否真的与文本中概念占比或强度单调对应。 未来需要有序标签、人工评分或重新标注的程度数据。
外部有效性有限:实验集中于金融领域ESG句子,作者自己也承认这是金融行业中的一个较窄子集,结果能否推广到风险、文化、政治或非金融概念仍未知。
总体而言,报告证明了一个具有实践意义但需要谨慎限定的命题:冻结LLM的内部激活可以在不进行任务特定微调的情况下,较准确地识别文本中的ESG概念。最可靠的分类方案不是复杂的RFM概念向量,而是逐层线性探针及其堆叠结构;它接近领域微调模型,并明显优于同一模型直接回答问题。
图表进一步揭示,环境概念在激活空间中具有最清晰的正负分离,社会次之,治理最模糊;这与三项任务的准确率和误分类分布一致。 RFM虽然分类性能落后,但其连续分数、概念向量和潜在模型操控能力仍具有研究价值。 因此,若目标是有标签条件下的高准确率分类,报告推荐将冻结模型线性探针作为默认方案;若目标是获得概念强度排序或研究内部表征,则可以继续使用RFM,但必须在未来用程度标签验证其连续分数含义。амызт
2608.07208.pdf