本报告提出了一种基于大语言模型的自动化框架CAI,用于从公司披露文本中高效提取和验证碳减排承诺关键指标。通过上下文分块、RoBERTa相关性搜索、动态提示生成和领域特定验证,CAI实现了结构化、多指标的高精度提取,显著提升了数据采集效率及准确度。经SBTi等业内权威基准测试,CAI模型在召回率和准确率上均达到95%以上,且对多种Gen AI底层模型表现具有鲁棒性,可广泛应用于非结构化文本的信息挖掘 .
CAI模型整体流程由四个阶段组成:文本预处理分块、RoBERTa模型的相关文本搜索、LLM驱动的指标提取和领域规则验证与去重。通过动态提示和上下文丰富技术,实现高效且准确的碳减排承诺数据提取 。
文本预处理采用滑动窗口(80词含20词重叠)策略划分上下文块,确保上下文完整且适应RoBERTa和LLM的输入限制,最高召回率达95% .
相关性搜索阶段通过微调RoBERTa二分类模型筛选含碳减排承诺的文本块,达到99%精确率、召回率及F1分数,显著优于单纯RAG方法 .
指标提取阶段利用基于生成能力的大语言模型(Vertex AI text-bison为主),结合动态提示和71个人工标注的高质量示例进行结构化JSON输出,保证多指标多范围的提取正确匹配 .
验证阶段实现规则校验、去重合并、错漏检测和置信度评分机制,确保提取结果的准确性及去除重复记录,辅以错误代码辅助人工复核 .
模型在SBTi构建的训练和测试集上表现优秀,训练集准确率95%、召回96%、精确90%;测试集均达到100% .
动态提示中的k-shot示例数量对模型召回影响显著,6个示例最优,超出后提升有限 .
多个大型语言模型对比中,GPT-4表现最佳,召回率达97%,且高置信度数据精度100%;GPT-3.5和Vertex AI text-bison分别为93%和92%召回,精度均为100% .
| 模型 | 总召回率 | 高置信数据精确率 | 高置信数据召回率 |
|---|---|---|---|
| Vertex AI text-bison | 92% | 100% | 45% |
| Azure Open AI GPT-3.5 Turbo | 93% | 100% | 50% |
| Azure Open AI GPT-4 (gpt-4) | 97% | 100% | 58% |
CAI模型显著扩展了企业碳排放目标数据覆盖度,在全球市值前1000家顶尖企业中覆盖率由仅依赖SBTi/CDP数据的68%提升至78% .
该研究为自动化处理非结构化气候相关财报文本提供了成熟框架,结合最新的NLP技术及领域验证,促进减碳信息的规模化、精准化采集与应用 .
报告标题: Climate AI for Corporate Decarbonization Metrics Extraction
作者及机构: Aditya Dave、Mengchen Zhu、Dapeng Hu、Sachin Tiwari,均隶属于BlackRock, Inc.(美国纽约及印度古尔冈)
发布日期: 文档未显示具体发布日期,但文中引用文献截至2024年初,故推断为2024年初或之前发布
研究主题: 利用大规模语言模型(LLMs)和生成式AI技术,从非结构化的公开企业披露文本中自动提取企业温室气体(GHG)减排承诺指标,实现企业脱碳目标的数据自动化采集与验证。
核心论点及结论:
总体,作者传递的主要信息是:通过结合NLProc最新技术和领域知识验证,CAI显著提升了企业脱碳数据采集效率和质量,有助于支撑可持续投资大数据分析,1,3,6]。
CAI模型包含4个阶段:
文本预处理与上下文切分
将PDF/文本转换为纯文本,清洗特殊字符,利用滑动窗口算法分割文本(80词左右,重叠20词),平衡上下文完整与模型输入限制,避免中间答案抽取偏差。
相关文本检索(搜索)阶段
微调RoBERTa二分类模型判定文本块是否包含碳减排承诺内容,训练数据超1000点,正负样本比例6:4,精度、召回及F1达99%。通过将相关块上下文扩展(Parent Document Retrieval),增强信息完整性。
指标抽取阶段
对相关文本块通过生成式LLM(如Google Vertex AI PaLM 2 Text-Bison模型)结合动态Prompt进行指标结构化抽取,输出JSON格式满足“五要素”:目标年、基准年、目标减排百分比、指标类型、作用范围。引入几例范式以增强few-shot学习效果,辅助区分企业级承诺。
验证与后处理阶段
规则校验(包括数据合理性和完整度)、假象(hallucination)检查、重复消除及融合。重复判定通过多维度内容向量和余弦相似度计算(阈值0.95)进行,融合过程采用多数投票规则补全遗漏字段。最终每条承诺都有置信评分和错误码辅助后续人工或自动甄别。
| 测试类型 | 公司报告数 | 独立承诺数 | 准确率 | 召回率 | 精度 |
|---|---|---|---|---|---|
| 训练集 | 35 | 102 | 95% | 96% | 90% |
| 测试集 | 11 | 42 | 100% | 100% | 100% |
| 模型 | 总召回率 | 高置信数据精度 | 高置信数据召回 |
|---|---|---|---|
| Vertex AI text-bison | 92% | 100% | 45% |
| Azure OpenAI GPT-3.5 Turbo Instruct | 93% | 100% | 50% |
| Azure OpenAI GPT-4 | 97% | 100% | 58% |
本文非传统金融标的估值报告,无股价目标或估值模型,文中“估值”部分对应对模型抽取准确性和覆盖率的评估。其核心是量化模型对企业碳减排承诺指标的抽取能力,包括:
模型通过叉检成熟第三方数据库(SBTi标准)及人工校验建立“黄金标准”,执行整体性能验证。通过敏感度测试对上下文大小、Prompt示例数量、LLM采样温度与策略等参数进行了调优,以求最大化召回与精准度的平衡。
报告中明确指出以下潜在风险及应对措施:
整体,报告体现出对风险的充分认识并辅以多重机制缓解,但并未公开概率和定量影响评估。
报告整体客观详实,但需注意实际场景中模型面临更大挑战,结果需结合持续迭代和人工复核相辅。
本文提出的“Climate AI”(CAI)框架整合了文本预处理、RoBERTa微调分类、生成式LLM动态Prompt抽取、规则校验及去重融合,成功实现了对企业温室气体排放目标指标的自动、结构化和高质量提取。相较传统Regex和单纯问答模型,该方案在召回率、精准度及多指标联合抽取方面表现显著优越。
通过对顶尖1000家企业的报告批量处理,覆盖率由依赖第三方数据时的68%提升至78%。实验表明,该流程在多个顶级生成模型上均具有良好适应性,尤其是GPT-4表现最佳。
图表清晰量化了模型参数调优对召回的影响,验证了文本块大小和Prompt示例数的临界调整点,强化了动态Prompt与嵌入向量去重的实用性。
该研究不仅推动了气候金融中的数据可得性和透明度,也展示了大规模语言模型与领域知识融合在产业数据分析的广阔前景,是自动化从非结构化数据提取可持续发展关键信息的重要范例。
综上所述,CAI模型及流程提供了企业气候承诺自动采集与验证的强有力技术路径,具备生产化部署潜力,有望极大助力投资决策和监管合规。未来研究可聚焦于动态Top-K示例选择及LLM基于输出的自适应问答提升机制,持续增强模型表现和泛化能力。
图1:CAI模型端到端工作流程
图2:文本块大小与召回率关系
图3:Prompt k-shot示例数量调优召回率
以上为本篇论文的全面分析,希望对理解其创新点、技术细节以及应用价值提供帮助。
2411.03402.pdf