加载中...
本文提出将指令微调与LoRA参数高效适配相结合,针对财务文本进行命名实体识别:在1693条句子构成的数据集上训练指令-输入-输出三元组,并仅微调注意力层的低秩矩阵以节省资源;模型在微平均F1上达到0.894,显著优于多种基线模型,证明了该方法在小规模领域数据上的有效性
| Data | value |
|---|---|
| Total samples | 1693 |
| Samples with entities | 1654 |
| Samples without entities | 39 |
| Average text length | 166.95 characters |
| Average entities per sample | 3.13 |
| 配置项 | 值 |
|---|---|
| Finetuning type | LoRA |
| Low-rank r | 8 |
| LoRA α | 16 |
| LoRA dropout | 0 |
| Cut-off length | 400 |
| Batch size | 4 |
| Gradient accumulation | 6 |
| Learning rate | 5e-5 |
| Optimizer | AdamW |
| Number of epochs | 3 |
| Precision | bf16 |
| Models | Precision | Recall | F1 Score |
|---|---|---|---|
| BERT-Base | 0.717 | 0.700 | 0.708 |
| T5 | 0.776 | 0.758 | 0.767 |
| Qwen3-8B | 0.843 | 0.824 | 0.833 |
| Baichuan2-7B | 0.801 | 0.782 | 0.792 |
| Llama 3 8B (ours) | 0.893 | 0.895 | 0.894 |
引言与报告概览(元数据)
逐节深度解读
表格与图表逐项深度解读(关键环节)
Table 1(页 3,指令模板示例)
Table 2(页 3,数据集统计)
Figure 2(页 4,实体类型分布柱状图)
Table 3(页 4,实验设置)
Table 4(页 5,评价指标对比)
Figure 3(页 5,多雷达图:多指标与按实体类别的 F1)
Figure 4(页 6,训练损失曲线)
估值/评价方法说明(在原文上下文中的方法论)
风险因素与局限性评估(作者识别与推断)
批判性视角与细微差别
结论性综合
若需我进一步:
2601.10043.pdf