本报告提出FINCH,一个覆盖33个金融相关数据库的大规模财务领域Text-to-SQL基准数据集,包含292张表及75725条自然语言和SQL配对样本。此外,针对财务领域特有的SQL结构和执行容忍性,设计了FINCH评分指标,实现对模型性能更精准的衡量。基于此数据集,评估了多种大中小规模及推理专用模型,发现领域微调显著提升SQL结构和语义准确率,且FINCH指标能更细致地反映财务查询的实用价值。
| 模型 | Exact Matching (%) | Execution Accuracy (%) | Component Matching (%) | FINCH Score (%) |
|---|---|---|---|---|
| Qwen3-8B | 0.50 | 0.80 | 3.50 | 1.20 |
| Arctic-Text2SQL-R1-7B | 0.60 | 2.30 | 3.70 | 1.50 |
| Phi-4-mini-reasoning | 0.00 | 0.20 | 1.00 | 0.40 |
| GPT-OSS-20B | 0.30 | 7.50 | 5.20 | 3.00 |
| GPT-OSS-120B | 1.80 | 27.80 | 16.60 | 11.60 |
| Qwen3-235B-A22B | 0.70 | 2.50 | 2.80 | 1.20 |
标题:FINCH: Financial Intelligence using Natural language for Contextualized SQL Handling
作者与机构:Avinash Kumar Singh 等三位作者,均来自 Domyn,不同城市(印度 Hyderabad、印度 Gurgaon、美国纽约)
发布时间:报告未明确标记具体发布日期,引用文献中最早涉及2024~2025年,推测为2024年或2025年发布
主题:
本文聚焦金融领域的Text-to-SQL任务,即将自然语言问题自动转化为对应的SQL查询。因金融领域数据库结构复杂、专业性强、且错误代价高,传统通用Text-to-SQL方法难以直接应用,金融领域缺乏大规模专用数据集和评估方法。报告旨在填补此空白,提出大规模金融Text-to-SQL数据集(FINCH)、进行综合模型评测,并提出金融专用的评价指标(FINCH Score)以更准确衡量模型表现。
核心论点与贡献:
综上,报告明确指出金融Text-to-SQL的独特挑战和需求,系统性地提出解决方案及评估体系,推动该领域发展,1,2,4,5]。
关键论点:
支持依据与推理:
结论:迫切需要领域专用数据集和评价标准,以实现金融场景下实用且可靠的Text-to-SQL模型,1]。
关键论点:
关键数据点:
推理与论据:
总结:FINCH不是简单堆积,而是在金融领域得到明确聚焦、语义准确且结构复杂度充足的权威基准,2,3]。
关键论点:
推理细节:
结论:设计严谨的方法确保结果的公平可比,且“FINCH Score”针对金融场景优化,更真实反映模型实际业务价值,3,4]。
核心逻辑:
核心公式:
语义意义:
举例:
总结:FINCH Score显著提升评估指标的实用价值和适应金融领域的判定标准,兼顾结构和执行,权衡严谨与弹性。
整体表现:
分句子性能:
难度分布:
指标对比:
数据表解读:
表3(模型整体性能):
| 模型 | Exact Match | Exec. Accuracy | Comp. Match | Strict Accuracy (EM+EX) | FINCH Score |
|---|---|---|---|---|---|
| Qwen3-8B | 0.50% | 0.80% | 3.50% | 0.10% | 1.20% |
| Arctic-Text2SQL-R1-7B | 0.60% | 2.30% | 3.70% | 0.20% | 1.50% |
| Phi-4-mini-reasoning | 0.00% | 0.20% | 1.00% | 0.00% | 0.40% |
| GPT-OSS-20B | 0.30% | 7.50% | 5.20% | 0.30% | 3.00% |
| GPT-OSS-120B | 1.80% | 27.80% | 16.60% | 1.70% | 11.60% |
| Qwen3-235B-A22B | 0.70% | 2.50% | 2.80% | 0.20% | 1.20% |
观察:GPT-OSS-120B在所有指标中遥遥领先,尤其是执行准确率和综合FINCH评分。强调领域微调的Arctic-Text2SQL在严格准确率和FINCH Score上表现稳健,规模较小但优化明显。
表4(SQL子句表现):
| 模型 | SELECT | FROM | WHERE | GROUP BY | HAVING | ORDER BY | LIMIT |
|---|---|---|---|---|---|---|---|
| Qwen3-8B | 1.6% | 3.9% | 0.9% | 4.8% | 2.2% | 1.4% | 38.2% |
| Arctic-Text2SQL-R1-7B | 2.5% | 3.6% | 0.7% | 4.7% | 1.0% | 1.3% | 42.7% |
| Phi-4-mini-reasoning | 2.0% | 2.3% | 0.4% | 2.1% | 1.3% | 0.4% | 27.6% |
| GPT-OSS-20B | 1.4% | 6.2% | 1.5% | 8.4% | 3.7% | 1.5% | 65.2% |
| GPT-OSS-120B | 4.7% | 27.3% | 6.9% | 7.5% | 6.3% | 6.3% | 73.8% |
| Qwen3-235B-A22B | 2.0% | 2.9% | 0.8% | 5.4% | 1.5% | 1.0% | 29.8% |
| 平均 | 2.37% | 7.37% | 1.87% | 5.48% | 2.67% | 1.98% | 46.55% |
观察:SELECT、FROM、WHERE子句准确率整体偏低,尤其是WHERE(过滤条件)作为规则关键点,误差率高严重影响财务数据准确性。ORDER BY和LIMIT子句准确率相对高,但其业务影响较小。大型模型如GPT-OSS-120B在FROM和WHERE提升明显,反映买通复杂多表结构能力。
总结:
描述:
图1为环形树状结构,展示FINCH数据集整合的33个数据库、292张表及其关系。各种颜色节点代表不同数据源,连接的分支表示表与数据库的层级结构,最外围显示表和字段名称,内层是数据库名称,中心为“FINCH”节点。
数据趋势与意义:
展示了数据集极高的多样性和复杂性。数据库覆盖金融、零售、保险等多个子领域,底层表结构繁多且关联复杂,反映金融场景数据特点。丰富的表结构对模型schema linking能力提出更高要求。
文本关联:
该图形象证明FINCH在广度与深度上的突出优势,支持报告对金融Text-to-SQL多样且复杂任务的定位,直观体现了数据集的行业垂直特性及严格筛选过程。
描述:
表格横列显示Spider、BIRD、BULL、BookSQL、FINCH五个数据集的样本数、数据库数和数据库到表的比率。
关键数据:
意义:
表明FINCH既避免了单数据库依赖,也避免了泛化不足,专注实用的金融多样性。恰当的表/数据库比例提升模型理解复杂模式的可能性。
描述:
展示了对所有模型统一使用的提示模板,明确任务描述、问题、数据库模式及SQL生成限制,确保语法规范和结构一致。
意义:
保证比较公平,防止非模型能力因素(如提示设计差异)干扰评测结果。提示内容强调结构准确、不含无端假设,有利于模型聚焦逻辑生成,体现金融领域对严谨性的需求。
本文中“估值”概念不涉及公司财务估值,而是对模型性能和数据集价值的归纳和评价。
模型评测方法:
评估结论:
敏感性分析未详述,但通过β、δ参数可调,实现多场景适配。
报告间接提出的风险与挑战:
数据质量问题:
模型泛化风险:
评价指标风险:
实际部署风险:
报告提出的缓解措施:
总体没有明确风险概率评估,但强调了金融场景高度风险敏感,推动未来聚焦可靠性与人机交互(如人选突校对等),1,4,5]。
潜在偏见:
指标设定的主观依赖:
数据集局限:
模型表现普遍偏低:
结构和执行的平衡难题:
图表可视化中的标签模糊:
本文系统介绍了FINCH——首个大规模、面向金融领域的Text-to-SQL数据集,涵盖33个数据库、292张表、逾7.5万组自然语言-SQL对,数据质量通过严格校验保障。通过统一、严谨的prompt设计,评测了多种规模及架构模型,发现:
结合图表数据与全文,FINCH代表了金融领域Text-to-SQL研究的重要里程碑,既是模型的评测基准,也是研发的催化剂。通过该平台,研究社区能够更精确、更实践地推进金融数据库访问的自动化与智能化,助力实现对金融数据的高效准确认知与应用。
FINCH报告内容翔实、结构完备,针对金融Text-to-SQL任务策划了重要数据与评估体系,体现先进的研究视角与实务需求相结合。报告结合详实数据、严谨评价,围绕任务核心进行了深入剖析,数据及模型表现清晰,金融领域特色鲜明。建议后续发布时补充具体参数调优细节、数据更新机制和模型应用的实际成本分析,以利推动学术与产业落地。
以上为本次报告极其详尽的分析解构,对金融Text-to-SQL研究的理论基础、数据资源、评估指标、模型表现及未来展望进行了全方位且专业的解读。
2510.01887.pdf