本研究构建了3,737份手工标注的10-K分段数据集,提出并比较两种基于LLM与PLM的分段方法:GPT4ItemSeg(基于Line‑ID prompt的LIB机制)与BERT4ItemSeg(line-by-line BERT嵌入 + Bi‑LSTM层次化结构),BERT4ItemSeg在核心项上实现了macro‑F1≈0.9826,显著优于规则与传统CRF方法,同时GPT4ItemSeg在少量示例下也能达到高性能并便于应对监管变动
| 指标 | GPT4ItemSeg | BERT4ItemSeg | CRF | Rule‑Based |
|---|---|---|---|---|
| Core items — macro‑F1 | 0.9552 | 0.9826 | 0.9788 | 0.9048 |
| Other items — macro‑F1 | 0.9385 | 0.9692 | 0.9691 | 0.9010 |
元数据与概览(引言与报告概览)
逐节深度解读
图表与图片逐一深度解读(关键图表逐条解析)
图 Figure 1(研究框架示意)展示與解讀:该框图(Figure 1)可视化了研究流程:左侧为数据收集(EDGAR 抽样、格式转换到纯文本);中为人工标注(训练工作坊、annotation);右为两条技术路径(PLM:Line-based BERT Encoding → Bi-LSTM Labeling → BERT4ItemSeg;LLM:Line-ID-based Prompt → Output Parsing → GPT4ItemSeg);最右为性能评估(Core Items / Other Items)。此图体现作者方法论一体化从数据到模型再到评估的完整 pipeline,并强调“行级”作为基本单位。,
表 Table 1(示例 prompt/response):Table 1 给出了实际用于 GPT4ItemSeg 的 prompt 片段示例,包括任务说明、few-shot 示例片段(仅 partial 文本)、输入格式(行号+行文本)与期望输出格式(item ID, line ID 列表);该表清楚反映作者如何通过工程化 prompt 来引导 LLM 返回行号而非重新生成段落,从而降低 hallucination 风险并节省 token 空间。,
表 Table 2(按 Item 的 F1 比较)详解:Table 2 列举各 item 在 GPT4ItemSeg、BERT4ItemSeg、CRF、Rule-Based 四法下的 F1 值;关键观察包括:BERT4ItemSeg 在多数项(尤其 Items 1、1A、7、9A)显著优于 GPT4ItemSeg 与规则法;GPT4ItemSeg 在某些项(如 Item 9A)表现明显低于其他模型(例如 GPT4ItemSeg 对 Item 9A 的 F1=0.7903,BERT4ItemSeg 为 0.9623),说明 LLM 的 few-shot 能力在跨项表现上具有较大方差。
表 Table 3 与 Table 4(聚合性能指标)解释:Table 3(核心项平均)给出 F1、Precision、Recall、Accuracy 的平均值,显示 BERT4ItemSeg 在 Precision(0.9910)与 Accuracy(0.9940)上领先,而 CRF 在 Recall(0.9846)上最高,提示 CRF 更“宽容”地标注为正类但可能牺牲精确度;Table 4(其他项)则显示 BERT4ItemSeg 与 CRF 在总体上接近但在 F1/Precision 上 BERT4ItemSeg略优。
表 Table 5(GPT4ItemSeg 与 few-shot 数量关系):Table 5 显示当 few-shot 示例数从 2 增至 5 时 GPT4ItemSeg 性能显著提升(核心项 F1 从 0.7256 提升至 0.9552),但超过 5 个示例后增益边际递减(5→10 的核心项 F1 从 0.9552 仅涨至 0.9573),这支持作者以 5 个示例作为成本-效益折衷的实务选择(同时考虑 API token 成本)。
表 Table 6 与 Table 7(文本预处理与对比工具输出):Table 6/7 比较了 ItemSeg 与其他公开工具(Edgar Crawler、sec-api.io)在文本转码(特殊字符还原)、表格处理(是否删除数值表格或插入占位符)等方面的差异;示例显示 ItemSeg 更积极地将 HTML 转义字符与非基本拉丁字符还原,而 sec-api.io 会留下 HTML 转义(如 ’),并以 ##TABLE_START/END 标记表格位置,这在下游文本分析中可能引入噪音或删除有价值文本。,
估值分析(该研究并无估值模型)
风险因素评估(作者识别的主要风险)
批判性视角与细微差别(审慎评价)
结论性综合(综合要点与实践建议)
若需下一步工作建议(可选)
2502.08875.pdf