本文基于覆盖495份国际上市公司年报、2967组问答的Financial Touchstone v1.2基准,系统比较20个开源权重与闭源大语言模型的金融文本理解能力。Claude Opus 4.6以88.4%的准确率排名第一,开源权重模型Kimi K2.6排名第三;Gemini 2.5 Pro以0.08%的幻觉率表现出最强事实可靠性。研究发现,检索失败占全部失败的48.9%,是系统性能的首要瓶颈;此外,中国模型存在受模型及访问路由影响的内容过滤拒答现象,为全球金融分析部署带来新的风险。
报告标题:《Can Open-Weight Models Compete on Financial Text Comprehension?》(开放权重模型能否在金融文本理解上竞争?)
作者:Jan Spörer。
机构:University of St. Gallen,瑞士;文中同时提供了作者的 WHU 电子邮箱。
发布日期:正文没有给出明确的出版日期,但研究定位于2026年初,并使用了2025年至2026年发布的新模型。
研究主题:比较闭源与开放权重大型语言模型在国际上市公司年度报告问答任务中的准确性、幻觉率、检索依赖、内容过滤和数据污染风险。
报告的核心结论并不是简单地判断“闭源模型优于开放权重模型”,而是提出了一个更加多维的结论:在金融年度报告理解任务中,开放权重模型已经能够达到甚至超过多数闭源模型,Kimi K2.6、GLM 5、Mistral 3分别位列准确率第三、第四和第五;但系统整体的主要瓶颈仍然是检索,而非生成模型本身。与此同时,模型的准确率和幻觉率并不完全同步,最准确的模型未必最可靠,最不容易产生幻觉的模型也未必能找到足够多的信息。
报告没有股票评级、目标价或投资建议,因此它不是传统的公司研究报告,而是一篇关于金融人工智能系统性能的实证研究。作者真正想传达的信息是:评估金融大模型时,不能只看通用排行榜或推理能力,还必须同时考察长文档检索、数字与表格理解、跨地区会计披露、幻觉控制以及模型访问路径带来的内容过滤问题。
作者首先指出,2025年至2026年模型迭代速度极快,公开基准可能被模型训练语料吸收,从而导致模型“记住答案”而不是现场理解文本。Financial Touchstone最初采用“私有直到发布”的设计,将年度报告、问题和标准答案在正式发布前保持不公开,以降低直接训练污染的可能性。
此次v1.2版本在原有基础上扩展了模型和数据,并通过三类检验排查污染:检索失败时的准确率变化、美国与非美国报告之间的表现差异,以及2021—2023不同报告年份的准确率趋势。作者认为,如果模型真正记忆了答案,那么在检索不到相关上下文时也应保持较高准确率;但实际情况是,检索充分时准确率为77.9%,检索失败的575道题中准确率仅为12.0%,下降超过六倍。 这对“模型依靠参数记忆答案”的假设构成反证,但作者也审慎承认,无法完全排除残余数据泄漏。
年度报告具有三个特点:
因此,这项基准比只提供一小段文本的短上下文问答更接近真实投研工作:模型必须先从完整报告中定位信息,再完成跨页整合和数值解释。
v1.2包含495份上市公司年度报告、2967个经过人工标注的问题—上下文—答案三元组,覆盖22个国家、20个证券交易所和全部GICS行业分类,并含约8300万词元的金融文本。 报告年度主要集中在2021—2023年,少量样本来自更早或更晚年份。
相较v1.1,数据新增89道问题和15份报告;同时有67条标准答案因不完整而被修订,15条因包含原文不支持的陈述而被修订。 这说明作者不仅扩大了规模,也在主动纠正基准标签错误,增强了黄金答案的可信度。
每份报告设置六类问题:
问题在推理时会附带公司名称和报告年份,例如“对于Nestlé(2021)……”,以帮助检索系统锁定正确文件。 v1.2尤其收紧了“关键财务指标”的定义,并把开放式提问改成明确列举指标家族,降低人工标注者和模型对“关键”的理解差异。
46道题由两名标注者独立回答,并通过详细阅读报告进行裁决;在正式运行20个模型前,作者又人工复核了所有被评判为错误的模型答案,若发现是黄金答案问题,则修订标准答案。
人工基线为82.8%准确率和2.8%幻觉率,但作者明确强调,这属于“最佳情境”而非普通分析师工作水平,因为标注者有数周时间、无时间压力,并被要求逐项复核原文。 这一点很重要:模型超过82.8%并不意味着它已经超过真实投研人员,而是超过了一个高投入、严格复核的人类参考上限。
标注分析还揭示了任务难点:业务分部问题最困难,因为企业可能同时按产品、地域和客户类型划分;现金流和关键财务问题则经常跨越多页,关键词检索可能只找到表格的一半,漏掉表头或脚注。
每道题以完整年度报告为知识库,模型必须根据检索到的报告内容作答。作者没有手工提供上下文,而是将检索失败视为端到端系统失败的一部分。
检索流程为:
这种设计的优点是公平:模型之间的差异主要来自理解和生成能力,而非不同检索器。但它也限制了总体成绩,因为固定的top-5稠密检索可能无法处理跨页表格、脚注和同一指标的分散表达。作者承认GraphRAG、混合稀疏—稠密检索或更长上下文重读可能提升结果。
研究评估20个模型、10家提供商,既包括推理模型,也包括非推理模型。样本覆盖Google、OpenAI、Anthropic、DeepSeek、xAI、Zhipu AI、Mistral、Alibaba、Moonshot AI和Baidu。
作者特别加入了多个中国厂商的开放权重模型,如Kimi K2.6、GLM-4.7、GLM 5、DeepSeek V3.2等,以检验开放权重模型是否已接近美国前沿闭源模型。Meta的Llama 3和Llama 4则因作者认为其表现落后于其他模型而未被纳入。
评分由Claude Opus担任LLM评审员。v1.2提高了评分标准的明确性,例如关键财务问题至少要覆盖黄金答案中60%的指标并包含核心指标,业务分部问题则必须列出所有主要分部;同时,表格读错数字属于普通错误,而非幻觉,四舍五入、单位差异和轻微命名差异可以容忍。
图1以绿色柱表示准确率、红色柱表示幻觉率,并附95%置信区间;结果排除了检索错误,因此更接近“模型在获得必要上下文后的纯理解能力”。
关键结果如下:
图表最重要的启示是,准确率和幻觉率并非同一维度。准确率类似召回率,关注是否完整找到正确答案;幻觉率则关注模型是否提出原文不支持的内容,类似精确性或 groundedness 的反面。因此,金融应用不能只按单一排行榜选模型。
图2比较美国报告与其他国家报告的准确率。几乎所有模型在美国报告上的表现略好,但模型之间的相对排名总体稳定,没有出现某个模型只在美国SEC文件上异常强势的现象。
这支持作者对数据污染的地理检验:如果模型大量记忆美国披露文件,理论上应当在美国样本上明显领先,而非仅出现普遍性的轻微优势。作者将美国表现更好解释为美国报告可能更标准化、格式更一致,属于难度差异而不是记忆污染。
不过,该图也显示跨地区性能存在一定差距,意味着国际金融部署仍需关注印度、亚洲和非美国报告的格式差异,不能用美国市场表现直接代表全球能力。
图3以雷达图展示各模型在消费品、能源、金融、医疗、工业、IT等行业,以及2021、2022、2023年、美国与非美国、groundedness等维度上的表现。
该图的价值在于揭示“平均准确率”掩盖的结构性差异。例如,某些模型在金融、能源或工业报告上较强,但在材料、房地产或消费必需品上相对收缩;一些模型在美国报告上的外圈明显大于非美国报告,反映地区难度差异;groundedness维度则展示了幻觉控制与答案完整性并非总是同步。雷达图不直接提供单一总分,却支持报告关于模型表现具有多维异质性的判断。
图4将正确率、幻觉率和检索错误率按问题类型分列,且是20个模型的端到端平均值,包含检索失败样本,因此三类柱状图不应相加为100%。
具体趋势非常鲜明:
图4直接证明,系统困难主要集中在需要跨页整合和多指标完整覆盖的任务,而不是法律形式等明确、集中出现的信息。
研究共分析20,682次失败,其中检索问题占48.9%,模型理解错误占44.7%,单独幻觉占9.1%;模型错误与幻觉可以同时发生,因此比例并非互斥加总。
这意味着提升RAG检索器可能比单纯更换生成模型具有更大的边际收益。检索不到正确表格时,即使模型推理能力很强,也可能基于不完整信息猜测,形成级联式幻觉。
四个案例进一步说明了问题性质:
这是报告新增且具有部署意义的发现。八个中国提供商模型共进行23,736次尝试,其中18次拒答最终保留在基准数据中,占0.08%;非中国模型没有拒答。
更重要的是,拒答不是模型固有属性,而是“模型—访问路径”的联合属性。Kimi K2.6通过Moonshot原生API时有20题被判定为“高风险”,但完全相同的问题经NanoGPT代理转发后全部获得回答。 因而,代理路径的零拒答不能证明原生API没有过滤。
触发因素包括:
这对全球金融分析部署尤其重要,因为跨国公司年报经常出现政治人物、地区冲突、疫情或香港相关表述。虽然0.08%的总体影响很小,但拒答高度集中于特定公司和主题,可能造成某些市场、行业或国家样本系统性缺失。
年份检验显示,排除检索错误后,2021、2022、2023报告的平均准确率分别为76.8%、77.4%和81.0%,没有随着年份变新而下降,反而略有提高。 这不支持“模型记住旧报告、无法处理新报告”的污染模式。
但研究仍存在若干方法局限:
这份报告的总体立场是:开放权重模型已经在金融年度报告理解中具备真正竞争力,但“强模型”必须被拆解为准确、完整、低幻觉、跨地区稳健和可部署几个维度来评价。
Claude Opus 4.6和Sonnet 4.6在准确率上领先,Kimi K2.6则是最突出的开放权重模型,并同时拥有较高准确率和极低幻觉率;GLM 5和Mistral 3进入前五,说明推理架构和闭源权重都不是取得良好金融理解能力的必要条件。 Gemini 2.5 Pro仍然保持最强的幻觉控制,但其准确率不高,体现了“谨慎作答”和“完整作答”之间的权衡。
更根本的结论是,48.9%的失败来自检索,检索成功与否使准确率从77.9%下降到12.0%。因此,实际金融系统的优先级不应只是换用更大的生成模型,而应改进跨页表格检索、脚注定位、单位识别、分部层级消歧和多文档整合。 作者最终建议未来可以组合Claude Opus 4.6的高准确率、Gemini 2.5 Pro的低幻觉率以及GLM 5在亚洲报告上的潜在优势,通过模型集成获得超过单一模型的可靠性。
2608.08634.pdf