本报告介绍了UCFE基准,一个用户中心化的金融专业能力测试框架,旨在评估大型语言模型(LLMs)处理复杂现实金融任务的能力。通过结合804名参与者调研反馈与17类多轮任务设计,构建涵盖分析师、金融专业人士、监管人员及普通公众多样需求的数据集。基于LLM-as-Judge方法对11款模型进行评测,并采用Elo评分动态评定性能,结果显示金融领域专用模型显著优于通用模型,且模型评分与人类偏好高度相关(Pearson相关系数0.78),验证了评估方法的有效性。该基准突出用户交互体验与模型适应动态金融环境的能力,为金融领域LLMs的性能衡量和优化提供了开创性框架
| 用户类别 | 参与人数 | 熟悉度(多轮任务参与) | 重要性认可(多轮任务) |
|---|---|---|---|
| 总计 | 804 | 458 | 660 |
| 金融专业学生 | 167 | 148 | 155 |
| 金融专业人士 | 83 | 83 | 83 |
| 监管专业人士 | 51 | 47 | 50 |
| 公众 | 136 | 49 | 82 |
| 非金融专业人士 | 87 | 37 | 70 |
| 非金融学生 | 208 | 79 | 163 |
| 其他 | 72 | 15 | 57 |
| 模型名称 | 总体Elo分 | 零样本Elo分 | 少样本Elo分 | 胜场数 |
|---|---|---|---|---|
| Tongyi-Finance-14B-Chat | 1156.99 | 1007.52 | 1171.27 | 3614 |
| CFGPT2-7B | 1155.75 | 1125.33 | 1157.93 | 3972 |
| Palmyra-Fin-70B-32k | 1128.25 | 1028.18 | 1143.66 | 3634 |
| GPT-4o | 1117.68 | 979.85 | 1120.89 | 3040 |
报告标题:UCFE: A User-Centric Financial Expertise Benchmark for Large Language Models
作者:Yuzhe Yang 等多位学者
机构:香港中文大学(深圳)、南京大学、The Fin AI 等
发布时间:2024年
研究主题:针对大型语言模型(LLMs)在金融领域复杂任务上的表现,提出并验证一种全新用户中心金融专业能力基准测试框架
本报告核心旨在通过一个用户驱动、场景模拟的金融任务基准(UCFE),结合人类专家评价与动态多轮交互,全面评估LLMs对实际金融业务复杂问题的处理能力。文中设计了面向金融分析师、金融专业人士、监管人员及普通大众四类用户的17种任务,涵盖330条数据,包括零样本和少样本对话。采用LLM-as-Judge框架,选取11款模型进行相对表现打分,最终评测结果与人类偏好高度吻合(Pearson相关系数达0.78),展现了UCFE基准及评测方法的有效性,强调了用户体验与实操适应性的关键重要性,1,5,6,7]。
报告指出金融任务的复杂性——涉及专业术语、法律规定、信息噪声高、实时性强的市场数据,且忽略细节即可产生巨大损失。现有LLMs虽在情感分析、风险评估等技术层面有所提升,但缺乏对动态实时数据和法律法规快速变更的快速适应能力,限制了其实战应用。为此,报告提出UCFE框架,强化“用户中心”和“动态交互”的评测设计,模拟真实金融环境与用户需求的演进,确保模型不仅回答静态问题,更理解并适应多轮互动过程中的复杂信息变化和决策情境,2]。
作者通过对804名参与者的调查研究,将用户群体细分为分析师、金融专业人士、监管人员及普通大众四类,制定了对应的17类任务,既包含单轮的零样本任务,也包含多轮的少样本任务,目的在于增强场景真实性和任务针对性。整个设计强调任务目标的动态调整,体现真实用户在金融工作中不断演进的需求。这种多轮、任务导向的设计远超传统以选择题形式为主的基准,更适合测试生成式模型在金融领域的应用表现,1,4,13]。
报告系统梳理了现有金融领域语言模型评测,如FLARE、MMMU等,主要依赖多选题评估模型对结构化数据的理解,侧重技术层面准确率和效率,而忽视了生成回答能力及人机交互的深层次需求。此外,用户中心设计在AI系统特别是金融智能投顾中的解释性和信任构建被强调,但尚无针对LLMs的全面用户互动和满意度评估框架,UCFE的出现正是为填补该空白,2]。
基于前述用户调研(调研覆盖学生、金融专业人士、监管者等不同背景,统计显示约458/804用户涉及多轮金融任务,660/804认为多轮任务重要),作者精选权威金融报告、监管文件和网络资源构建数据集,确保任务涵盖信息提取、资产估值、市场预测、监管合规等多方面,数据分布涵盖输入长度从约200 tokens到1600 tokens不等,体现了任务复杂度的多样性,4]。
图2(动词-名词搭配的可视化)直观展示金融任务涵盖众多操作和决策关键词,充分体现任务语言的多样性和现实业务的复杂性。图3中测试和评估输入长度分布说明基准涵盖短查询至长篇深度文本等多样化输入,验证模型的可推广性和处理不同复杂度任务的能力,4]。
UCFE共设计17个具体任务,细分为零样本4项(如股价预测、负面信息检测、财务指标计算、金融新闻摘要)和少样本13项,涵盖分析师模拟(资产估值、公司评估)、风险合规(信用风险评估、内幕交易监控)、策略优化(投资策略评估与优化)及咨询摘要类任务(金融知识解释、行业报告概要),13,14]。
任务涵盖用户需求多重维度,特别关注多轮对话式互动过程,检验模型在连续信息更新、上下文依赖及多阶段决策中的适应与推理能力。此设计超越传统单轮任务,为LLMs实现真正金融助理功能奠定基础。
报告采用动态Elo评分机制,基于模型间成对比较,由Claude-3.5-Sonnet充当统一评判者,保证客观性。使用LLM自主模拟用户行为(GPT-4o),并通过不同的评价维度(满足用户需求、事实准确度、责任公平性、响应深度、幻觉风险、语言清晰)综合评估模型输出。此外,为避免评判者偏差,辅以Gemini-1.5-pro和Deepseek-chat两款评估模型验证一致性,有效规避单一评价者偏见,提高评分稳定性,5,6].
Llama3.1-70B由于响应冗长而被判定为低效,实际金融任务中恰当的回答长度与内容精炼重要,过度冗余反而造成评估分数下降。该情况与其他研究观测的大模型“过度推理”现象一致,提示金融LLM优化应兼顾信息密度与表达简洁性。案例展示了文本中错误删除与政治内容夹杂等不当行为,提示模型需要更严格的内容过滤与领域优化,8]。
作者坦承本框架当前覆盖金融任务较有限、评价者背景单一可能引入偏差、主要依赖历史数据无法完全体现市场动态。未来亟待扩充任务多样性、引入更多元评估者、加入实时数据及事件处理能力,实现更全面的金融LLM评估与应用。
本报告的核心不在传统财务估值建模,而是构建全面评测LLMs金融专业能力的框架。在评测过程中,采用Elo等级评分方法,属于动态配对胜负比较体系,通过比较模型在多轮金融任务中的表现胜率来综合评估模型能力。公式中涉及当前分R、对方分Ro、胜负结果S,及更新系数K等标准参数,灵活适应模型增减和多模型竞赛,符合金融对高频、多维度动态评估的要求。
此外,基于真实金融投资、资产评估等任务细分,模型被测画分多任务表现,而非单一指标,进一步体现了金融AI能力的多维度和场景化。特别强调了“专属金融语料微调”对模型估值能力提升的显著作用(金融领域模型明显优于骨干模型),对模型规模与任务难度的适配优化也体现出估值的有效调节能力,6]。
报告以用户调研、任务设计、评测过程为依托,识别了以下主要风险:
报告明确提出以上限制以促使未来研究关注更广泛、多元且实时的金融评测体系建设。
总体而言,报告结构严谨,显著推进了多轮交互金融LLM评估研究,多数假设合理,细节考虑充分,且对局限认识清晰,具备高度的学术与应用参考价值。
UCFE基准通过用户驱动的多样化金融任务,结合先进的LLM-as-Judge动态评分体系,实现了对11款主流中文及国际金融大模型在风格多变、情境复杂的真实金融场景中的全方位评测。专门金融语料训练的模型整体超越通用大模型,体现了领域适配的必要性和有效性。多轮动态交互设计确保评测过程逼真,显著凸显了用户意图驱动的模型适应能力和任务完成深度的衡量价值。专家人类偏好与自动评测呈强相关,验证了评测指标体系的可信度。基于参数规模的表现分析及异常案例分析拓展了对模型表现的理解,揭示了大模型过度推理带来的潜在弊端。
图表内容综合展示了用户群体构成、任务复杂度、多模型评价稳健性和人机评价一致性,辅助说明报告中各数据、逻辑链条的连贯性与科学性。报告最后重申中小参数量金融专属模型性能突出,能够兼顾效率与专业性,为金融领域LLM实际部署和发展指明了方向。
总体而言,UCFE基准提供了一套涵盖技术性能与用户体验,静态考核与动态适应,理论评测与实用验证的全新金融LLM能力标杆,为金融AI行业的研发、选型与场景落地提供了极具价值的参考框架和开放资源–8]。
综上所述,该报告从数据、模型、评测、用户交互多维度深入设计与验证,成果具有较高创新性和实践指导意义,符合当前金融AI领域对实用性和用户体验的核心诉求。
2410.14059.pdf