本文提出 HLER(Human-in-the-Loop Economic Research),一种面向实证经济学的多代理人流水线,将数据审计、统计剖析、数据感知的假设生成、计量分析、论文撰写与自动评审串联起来,并在关键节点嵌入人工决策门以防止模型幻觉与不可行命题。实验在三套数据上进行(共14次流水线运行),结果显示基于数据审计的假设生成可行率为87%,显著高于无约束生成的41%,且端到端完成率为86%,平均每次流水线API成本约为0.8–1.5,证明了人机协作流水线在可扩展实证研究中的可行性与成本优势
| Condition | Questions | Feasible (%) | Var. missing | Design incompat. |
|---|---|---|---|---|
| Dataset-aware (HLER) | 79 | 69 (87%) | 4 | 6 |
| Unconstrained (ablation) | 82 | 34 (41%) | 20 | 17 |
| Dimension | Draft v1 | Draft v2 | Final draft |
|---|---|---|---|
| Novelty | 5.2 (1.1) | 5.3 (1.0) | 5.5 (0.9) |
| Identification | 4.1 (1.2) | 5.2 (0.9) | 5.5 (0.8) |
| Data quality | 5.4 (0.8) | 5.8 (0.7) | 6.1 (0.6) |
| Clarity | 4.3 (1.0) | 5.8 (0.8) | 6.4 (0.7) |
| Policy relevance | 5.1 (0.9) | 5.5 (0.8) | 5.8 (0.7) |
| Overall | 4.8 (0.9) | 5.9 (0.7) | 6.3 (0.6) |
元数据与概览(引言与报告概览)
逐节深度解读
图表与图片逐一解读(关键环节)
Figure 1(系统架构图)描述:图展示了中央 ORCHESTRATOR 在顶部,下面横向排列七个 agent(Data Audit、Data Profiling、Question、Data、Econometrics、Paper、Reviewer),左侧通过虚线回路标示 Question Quality Loop,右侧回路为 Research Revision Loop,顶端标有 Human PI 在两个决策点的交互。该图清楚传达了流水线顺序与两种反馈循环以及人类介入点。
Table 1(HLER 与其它系统的功能对比)解读:表格第一列列出多项功能,右侧列出 HLER、AI Scientist、APE、LLM Agents、Writing Tools 的支持情况。实际文档中多数功能单元为空或含占位符,唯一显著标注是“Writing Tools”在人机 in-the-loop 一项为“V”(可能代表部分支持);表格的缺失或格式问题降低了其可读性,读者应谨慎将此表视为全面比较证据。
Table 2(问题可行性统计)描述:Table 2 报告了两种生成策略下的问题数量与可行率:Dataset-aware(79 个问题,69 个可行,87%),Unconstrained(82 个问题,34 个可行,41%);失败的主要原因在于缺失变量(Dataset-aware 4 vs Unconstrained 20)与设计不兼容(6 vs 17)。该表量化了数据感知机制在减少“变量不存在”类错误上的明显优势。
Table 3(审稿得分随修订演进)描述:Table 3 给出 12 个完成运行的 ReviewerAgent 对草稿 v1、v2 与最终稿在 6 个维度(Novelty, Identification, Data quality, Clarity, Policy relevance, Overall)的平均分与标准差。整体分从初稿 4.8 提升到最终稿 6.3,识别可信度与清晰度提升最大(Identification 从 4.1 到 5.5;Clarity 从 4.3 到 6.4)。
估值分析(非适用)
实验设计、结果与驱动因素解析
案例研究(CHNS:农村女性劳动结果)
风险因素评估(Report-Identified Risks)
批判性视角与细微差别(审慎评估)
结论性综合(关键发现汇总)
附注与建议(针对修订与后续工作的可操作建议)
(本文分析基于提供文档逐页内容逐段解读与图表审查,上文每处引用均以原文页码标注以便溯源。)
2603.07444.pdf