本文构建并评估了包含980道题(Level I–III)的模拟CFA考试数据集,复现并扩展先前工作,测试了包括GPT-5、Gemini 3.0 Pro、Gemini 2.5 Pro、Grok 4、Claude Opus 4.1与DeepSeek-V3.1在内的最新推理模型,结果显示多数顶尖模型在三项考试均达到通过标准(Level I最高97.6%,Level II最高94.3%,Level III在MCQ/CRQ上分别有不同模型领先),同时分析了提示策略(ZS vs CoT)、题目分布与自动化评分的局限性。
| 项目 | 要点 |
|---|---|
| 被测模型 | Baselines(ChatGPT, GPT-4, GPT-4o)与推理模型(GPT-5, Gemini 2.5 Pro, Gemini 3.0 Pro, Grok 4, Claude Opus 4.1, DeepSeek-V3.1) |
| 快照/参数 | 使用提供商默认API参数(temperature=0 除非不可配置),报告均值±标准差以应对运行波动 |
| 提示策略 | Zero-Shot (ZS) 与 Zero-Shot Chain-of-Thought (CoT),并对CRQ用自动评分器 o4-mini(基于AnalystPrep rubric) |
| 指标 | 代表结果 |
|---|---|
| Level I 最高 | Gemini 3.0 Pro:97.6%(ZS) |
| Level II 最高 | GPT-5:94.3%(ZS) |
| Level III MCQ 最高 | Gemini 2.5 Pro:86.4%(MCQ) |
| Level III CRQ 最高 | Gemini 3.0 Pro:92.0%(CRQ, CoT) |
以下为对“Reasoning Models Ace the CFA Exams”(下称“本文”)的逐章、逐表逐图的详尽解析与批判性解构,力求覆盖报告的每一个重要论点、数据点、假设与结论,并对图表与示例逐一解读与溯源。[注:文中每处直接基于原文的信息或结论均在句末附上原文页码标识以便溯源。]
一、元数据与概览(引言与报告概览)
二、逐节深度解读(按报告结构)
三、图表与图片逐一深度解读(关键表格与图像)
Figure 1(样题示例图片):该图展示了各等级样题的版式与示例 —— 左起为 Level I MCQ、Level II MCQ(vignette)、Level III MCQ 与 Level III CRQ 的示例区域(案例文字为蓝色,问题红色,选项绿色),并说明示例为示意性非真实考试题目。该图帮助读者直观理解三种题型的文本密度与信息呈现差异(Level III CRQ 信息量最大,含更多叙述与财务细节),并佐证作者关于 Level III 题目 narrative depth 与评分复杂性的论述。
Table 1(Pass/Fail outcomes,):列出各模型在三个等级上的 Pass/Fail 状态与整体排名。解读要点:作者将最新模型置于表格中并用“黑色/蓝色”区分早期研究与本工作重现/新增结果,表格显示 GPT-5、Gemini 2.5/3.0、DeepSeek、Grok、Claude 均为“Pass/Pass/Pass”,而早期 ChatGPT 仍为 Fail。该表用于强调结论的第一手证据,但表格本身并未给出具体准确率,只给出通过/未通过;作者在 Table 5(下)给出详细准确率。
Table 2(话题权重比较,):逐级比较了各研究([4]、[9]、本工作)在 Level I/II/III 话题权重分配。关键发现:总体权重与前作相近,但本工作在 Level II 的 Investment Tools 权重显著降低(34.0% vs. 43%),并在 Level III 引入 Pathways(本工作 Level III Pathways 占比 ~62.1% 的对照[9]差异),此表支持作者关于“课程更新导致题型与权重变化”的论断。
Table 3(问题特征:是否需计算、表格数量、平均长度,):呈现按主题分的“计算题比例 / 平均表格数 / 平均 prompt 长度”。要点:与早期研究比较,本数据集中多主题的计算比例下降且 prompt 长度普遍增加(例如 Financial Reporting 的计算比例由 57.7% 降至 33.3%,提示长度从 151 tokens 变为 152 tokens 等),该表在量化上说明新大纲倾向概念性与长情境文本而非密集数值计算。
Table 4(模型标识与 snapshot,):列出模型、标识符与具体 snapshot 日期(如 GPT-5: gpt-5-preview, snapshot 07 Aug 2025; Gemini 3.0 Pro snapshot 18 Nov 2025 等)。此表对可复现性非常重要,作者强调使用确切版本以便与未来工作比较。
Table 5(总体性能准确率,):这是核心结果表,列出各模型在 Level I/II/III 的准确率(ZS/CoT 两种设置下),并在细分列给出 Level III 的 MCQ 与 CRQ 准确率。关键数据包括:Gemini 3.0 Pro Level I ZS 97.6%,GPT-5 Level II ZS 94.3%,Gemini 2.5Pro Level III MCQ 86.4%,Gemini 3.0Pro Level III CRQ 92.0% 等。该表支持作者关于“多数推理模型均通过三等级”的结论,但表中也显示 CoT 对不同模型与题型的效用差异(某些新模型在 MCQ 上 CoT 甚至略减表现)。
Tables 6–8(错误分解:按主题的错误计数/错误率,):分别给出 Level I/II/III 在 CoT 设置下各模型按话题的错误数与错误率。重要洞见:尽管总体错误数随代际下降,Ethical & Professional Standards 在 Level I/II 中仍是顶尖模型的相对弱点(如 Table 6 显示在 Level I Ethics 对 GPT-5/ G3P 的错误率仍有 4–9% 的错误),在 Level III 更难的主题(Performance Measurement、Derivatives & Risk Management)错误分布更广。该系列表提供了 granular 的错误模式,有助于后续改进点定位。
四、估值/模型内部机制分析(该报告是否涉及估值)
五、风险因素评估(基于报告第 5 节)
六、批判性视角与细微差别(基于报告内容的审慎评述)
七、结论性综合(综合最关键发现与图表见解)
八、对后续研究的建议(基于报告的识别的局限)
總結(简要):本文系统地构建了一套 980 题的 mock CFA 数据集并在此上评估了多代 LLM 与最新推理模型,结果显示最新推理模型在 CFA 三级模拟考试上整体通过且在 Level I/II 达到非常高的准确率,Level III 的 CRQ 方面亦有显著进步(尤其在一些模型上表现优异),但作者同时承认并明确讨论了数据代表性、自动评分偏差与数据污染等重要限制,提示对这些结论应保持谨慎并建议以人工评分与官方题库作为未来确认路径。
若需要,我可以:
(所有直接引用或基于本文论断的句子末尾均标注了对应原文页码以便溯源与复核。)
2512.08270.pdf