本文提出FinRank,一个面向SEC 10-K与10-Q文件金融问答和检索的证据 grounded 基准。数据集包含来自22家公司、三个行业的1185条人工构造问答记录,每条记录均配有支持性段落及人工筛选的高混淆负样本。研究将检索、重排序和困难负样本判别分开评估,结果显示最强的7B指令调优嵌入模型在全局证据池上的Recall@10也仅为44.8%,而困难负样本使模型两两判别准确率较随机负样本下降13.0–20.5个百分点,说明金融问答的核心挑战不仅是回答正确,更在于证据归属和披露语境的准确识别。
| 维度 | 类别/数量 | 占比 |
|---|---|---|
| 行业 | 制药:499条 | 42% |
| 行业 | 油气:438条 | 37% |
| 行业 | 汽车:248条 | 21% |
| 难度 | Easy:363条 | 31% |
| 难度 | Medium:484条 | 41% |
| 难度 | Hard:338条 | 29% |
| 推理类型 | 定性:809条 | 68% |
| 推理类型 | 定量:376条 | 32% |
| 证据范围 | Single:409条 | 35% |
| 证据范围 | Two:472条 | 40% |
| 证据范围 | Multi:304条 | 26% |
| 文件类型 | 10-K:1048条 | 88% |
| 文件类型 | 10-Q:137条 | 12% |
| 主题 | 会计、公司概况、财务、风险、法律、股东回报、脚注、治理 | 每类141–158条 |
报告标题为《FinRank: An Evidence-Grounded Benchmark for Financial Question Answering and Retrieval over SEC Filings》,作者包括 Sasan Mansouri、Daniel Saad、Mark Wahrenburg、Manu Weissel 和 Fabian Woebbeking,作者分别来自格罗宁根大学、法兰克福歌德大学、DataNXT GmbH、德国经济研究所及马丁·路德大学哈雷-维滕贝格分支机构。 报告的具体发布日期在所提供文本中没有明确列出,但文中数据覆盖2024—2025年提交的10-K和10-Q文件,且参考文献包含2026年工作,因此报告明显属于较新的金融自然语言处理与信息检索研究。
报告主题不是某家公司或某个金融行业的投资分析,而是面向美国证券交易委员会(SEC)申报文件的金融问答、证据检索、重排序和“困难负样本”识别基准。其核心观点是:金融问答系统的关键问题不只是“答案是否正确”,还在于答案是否来自正确的公司、正确的报告期和正确的披露语境。 在SEC文件中,不同公司、不同期间和不同章节经常重复使用高度模板化的语言,因此系统可能给出数值正确、语义合理,却归属于错误文件或错误公司的答案,这在审计、合规和投资者关系场景中具有实质风险。
报告没有股票评级、目标价或公司估值结论,因为FinRank明确不是投资建议、估值或交易信号工具,而是评估金融检索增强问答系统的研究基准。 作者希望传达的主要信息是:金融领域的RAG系统必须把“证据归属”和“证据可审计性”作为一等目标,而不能仅依靠最终答案的EM、F1或数值正确率来判断系统质量。
FinRank包含1,185条人工编写的问答记录,覆盖22家公司、制药、油气和汽车三个行业,以及2024—2025年的10-K和10-Q文件。 每条记录包括问题、参考答案、支持性段落、问题和文件元数据,以及人工挑选的困难负样本。 这些困难负样本不是随机无关文本,而是来自竞争公司、其他报告年度或其他文件类型的高度相似披露,因此可以直接测试系统是否能够排除“看起来很像但并不支持当前答案”的证据。
报告提出四项贡献:
与FinQA、TAT-QA等主要在给定上下文内进行数值推理的基准相比,FinRank将“找到正确上下文”单独拿出来评估。 FinanceBench和DocFinQA更关注整篇文件或开放式问答的最终正确率,而FinRank进一步要求系统在每道题旁边区分支持段落与竞争性干扰段落。 因此,FinRank的定位不是取代既有金融问答数据集,而是补充其在证据归因和跨文件辨别方面的不足。
问题覆盖八个主题:公司概览、财务、脚注、治理、会计、法律、风险和股东回报。 难度目标为简单30%、中等40%、困难30%;简单问题通常是直接事实查找,中等问题要求跨期间比较或趋势分析,困难问题要求跨章节综合推理。 证据范围的原始目标为单段落40%、两段落30%、多段落30%,意图是避免数据集被单段落事实查找主导。
推理类型分为定性和定量。定性问题涉及解释、判断和战略含义,定量问题涉及计算、比较或数学分析,并进一步包括指标生成、单步算术和组合计算。 对中等和困难问题,作者要求提供查询重写,将复杂问题拆解为一系列原子子问题,以便观察中间检索步骤和证据链是否完整。
这一设计的逻辑是,金融分析往往不是从一句话直接找到答案,而是需要先检索收入、利润率、债务契约、现金余额、诉讼或资产负债表等多个事实,再完成综合判断。 例如,关于流动性风险的问题,可能需要同时检查流动比率、现金余额、契约要求和未来到期债务。
五名商科学生直接阅读SEC文件,手工撰写问题、参考答案、支持段落和困难负样本,作者明确表示没有使用语言模型自动生成问题、答案或查询重写。 困难负样本通常来自同一行业的竞争公司,也可能来自同一公司的不同年份或不同文件类型。 作者对每名学生的部分记录进行抽样复核并提供纠正反馈,但没有对全部记录进行逐条复核,也没有计算正式的标注者一致性统计量。
这既是数据集的优势也是局限。优势在于困难负样本不是依据简单词汇相似度自动挖掘,而是由人工读者挑选最容易混淆的证据;局限在于单人标注可能存在理解偏差,参考答案和支持段落不一定经过专家共识确认。
FinRank定义了两个相互独立的评估环境。
第一是全球池化语料库 (C),由所有非空支持段落和困难负样本去重后组成,共5,230个独特段落,平均每条记录包含1.96个支持段落和5.08个困难负样本。 第一阶段检索在整个(C)中为问题排序,并使用Recall@k、MRR和nDCG@10评价。 需要特别注意,(C)不是完整SEC文件的所有切块,而是由人工筛选出的正样本和困难负样本组成的“压力测试池”,因此其结果不能直接等同于完整文件检索性能。
第二是记录内候选集 (L_r=G_r\cup HN_r),即某条记录的支持段落与该记录的困难负样本集合。 重排序和困难负样本辨别只在该候选集内进行,使用MRR、nDCG@5和正负样本成对准确率,从而隔离第一阶段召回不足对重排序结果的影响。
图1展示了6,052个困难负样本按照其来源文件与原问题文件的关系进行分类。 最大类别是“同一行业、不同公司”,共4,835条,占79.9%;其次是“同一公司、不同年份或文件形式”,796条,占13.2%;“同一公司、同一年且同一文件形式”有420条,占6.9%;跨行业样本仅1条,占不足0.1%。
这一分布说明作者有意把评估重点放在最现实的混淆场景:例如当前问题属于强生,但候选证据来自礼来或辉瑞,文本可能同样出现“收入”“诉讼”“资产负债表”等词语,却不支持强生的具体答案。 该图也表明,FinRank对跨公司证据归属的测试强于对跨年度或同一文件内部定位的测试;因此,模型在图1上的性能更大程度反映跨实体识别能力,而不完全代表所有类型的时间对齐能力。
报告还发现,11条困难负样本与其自身记录的支持段落完全重复,因此被删除;另有442条困难负样本与其他记录的支持段落重合,约占剩余困难负样本的7.3%。 这意味着部分段落可能对多个问题确实具有合法相关性,评估者应使用作者提供的hn taxonomy文件过滤或单独处理这些重叠样本。
图2从六个维度展示数据集构成。
图2的关键含义是:主题维度控制得较好,但行业、文件类型、年份和推理类型存在明显结构性偏斜。报告指出,75%的记录来自2025年,25%来自2024年;10-Q记录又主要集中于油气行业和2025年,因此“10-Q性能较差”不能简单解释为文件类型本身导致,可能同时受到行业、年份和标注者的影响。
表2对比了问题生成标准规定的目标比例和最终发布数据的实际比例。 复杂度分布几乎完全达标;证据范围偏差较大,尤其是两段落问题超出目标约10个百分点;推理类型偏差最大,定性问题约为定量问题的两倍。
这说明预先制定方法论并不等于最终样本完全平衡。作者没有掩盖偏差,而是将实际分布作为正式基准,并建议未来研究按文件类型、年份、行业、推理类型和难度分层报告结果。
图3A展示全球池(C)上的Recall@1、Recall@5、Recall@10和Recall@20。 最强的7B指令调优嵌入模型e5-mistral-7B在Recall@10上只有44.8%,意味着超过一半的金标准证据未进入前十结果。 BM25在Recall@10约为32.1%,mpnet与BM25接近,bge-large只比BM25高3.5个百分点,而金融领域嵌入模型Fin-BGE反而低于BM25约9.7个百分点。 这表明,在高度模板化的SEC文本上,模型规模和指令调优可能比泛化的“金融领域适配”标签更重要。
图3B比较了人工困难负样本和随机负样本下的成对准确率。各系统面对随机负样本时准确率约为87.8%—96.2%,面对困难负样本时下降至70.3%—80.2%,性能损失为13.0—20.5个百分点。 例如,Fin-BGE从随机负样本下90.8%下降至困难负样本下70.3%,差距达到20.5个百分点;e5-mistral-7B从96.2%下降至80.2%,差距为16.0个百分点。 这直接证明了困难负样本不是普通随机干扰,而是真正能够暴露模型证据辨别弱点的评估资产。
表4汇总全球池检索表现,表5汇总记录内候选集上的重排序表现,表6进一步按文件类型、推理类型、证据范围和难度报告Recall@10,表7则比较是否加入查询重写后的检索效果。 所提供文本没有完整转录这些表格的全部单元格数值,因此可以确认其评价结构和结论,但不宜对未显示的分层具体数值进行额外推断。
表7尤其需要谨慎解读,因为查询重写由标注者在查看金标准证据后编写,属于带有答案信息的“预知式分解”,因此加入重写后的效果更接近分解辅助的上限,而非普通用户自然提出问题时可以获得的改进。
报告测试TF-IDF、BM25、all-mpnet-base-v2、交叉编码器、bge-large、FinLang金融嵌入模型和e5-mistral-7B等系统。 TF-IDF和BM25属于稀疏词法检索,依赖词项频率;双编码器分别编码问题和段落,通过向量相似度快速检索;交叉编码器则同时读取问题与候选段落,通常精度更高但计算成本更大。
作者还设置了元数据过滤BM25:只保留与问题来源文件的公司、年份和文件类型相匹配的候选段落。 该过滤排除了92.9%的困难负样本,使平均候选池从全球池缩小到173条,并把BM25的Recall@10从32.1%提高到55.0%,MRR从23.8提高到41.9%。 但由于全球池条目只保留首次出现的来源元数据,该过滤会误排除33条记录的部分金标准证据,以及2条记录的全部金标准证据。 因而元数据过滤非常有效,却不能完全替代语义检索。
报告不存在DCF、P/E、EV/EBITDA或目标价估值,也没有对任何公司给出买入、持有或卖出评级。 这是因为研究对象是检索和问答基准,而非上市公司投资研究报告;作者还明确禁止将FinRank系统用于自动化投资决策、实时估值或交易信号生成。
主要风险和局限包括:
作者提出的缓解方式包括使用规范化标签、发布修复日志、提供分层数据、开展受控的留一行业、留一公司、年份和文件类型划分,并建议未来进行分层双重标注和一致性研究。
FinRank最有说服力的地方是把金融问答中经常被忽略的“错误归因”转化为可量化任务,并通过13.0—20.5个百分点的困难负样本性能溢价证明其必要性。 但“首次”或“首个”基准的表述属于作者基于现有文献检索得出的研究定位,未来随着其他金融检索数据集发布,仍需持续核验。
此外,7B模型Recall@10仅44.8%的结果非常有冲击力,但该结果是在人工筛选、困难负样本密度较高的5,230段落池中获得的,而不是完整10-K和10-Q文档上的真实检索结果。 因此,它适合证明“证据辨别很难”,却不能直接推断系统在生产级SEC全文搜索中的最终召回率。 同样,金融适配嵌入模型落后于BM25,并不必然意味着金融领域预训练无效,因为该模型的训练语料和FinRank的SEC监管披露文本可能存在领域错配。
总体而言,FinRank把金融问答评价从“答案像不像正确答案”推进到“答案是否由正确公司、正确期间和正确披露支持”。它通过1,185条人工记录、5,230个全球池段落、每题人工困难负样本、跨主题和跨难度元数据,构建了一个强调证据可追溯性和审计性的研究框架。
图表显示,数据主题覆盖较均匀,但行业、10-K/10-Q、年份和定性/定量比例存在明显偏斜;图1显示困难负样本绝大多数来自同一行业的其他公司;图3则显示,即使是7B指令调优嵌入模型,Recall@10也只有44.8%,且困难负样本会使所有模型的成对准确率下降13.0—20.5个百分点。 因而,报告的总体判断是:未来金融RAG系统不能只优化答案生成,还必须优化元数据过滤、跨实体识别、时间对齐、多段落整合、引用准确率和困难证据排除,并在高风险金融场景中保留人工审核。
2608.07400.pdf