以下为对 “A Decade of Public Procurement in Spain: Extraction, Structuring, and Analysis of BOE Data (2014–2024)” 报告的详尽、章节点对点解构与批判性分析。每一处直接源自原文的陈述或结论在句末均标注原文页码以便溯源(格式 [page::页码])。分析结构按要求分节呈现:元数据概览、逐章精读、图表逐一解读、估值/建模评价、风险与局限、批判性意见与最终综合结论。
一、元数据与概览(引言与报告概览)
报告标题为 “A Decade of Public Procurement in Spain: Extraction, Structuring, and Analysis of BOE Data (2014–2024)”,作者为 Manuel Muñoz Plá(Independent Researcher),发布日期为 May 2025,主题为西班牙中央国家层面公共采购数据的提取与分析(2014–2024)。1
报告核心贡献包括:公开发布约97,000条从 BOE(Section V-A)抽取的采购记录并对其进行结构化(15 变量、OCDS 对齐)、提供可复现的 ETL 管道,以及以此数据进行探索性、监督与非监督分析来展示应用价值。该数据集以 CC0 授权发布并提供 GitHub 的代码库。1 ,2
报告旨在填补西班牙中央级别长期结构化采购数据的空白,并展示其在政策与研究中的可用性这一主要信息。作者还强调法律允许重用 BOE 内容(Ley 37/2007)并遵循 FAIR 原则发布数据。2 ,1
二、逐节深度解读(逐章精读与剖析)
引言与目标(Section 1 与目标陈述)
报告指出公共采购在欧盟约占 GDP 的 14–20%,因此结构化采购数据对实证研究与政策评估非常重要;作者将 BOE 视为权威采购公告来源,但其半结构化格式对机器分析存在障碍。该观点为整个工作的动机提供政策与方法论基础。1
三重目标:构建并发布可复现的 ETL 管道、使数据对齐 OCDS 以提高互操作性、并通过示例性分析证明数据的研究价值。上述目标在文中被作为主要工作框架反复引用。2
相关工作(Section 2)
报告将自身定位在开放合同数据(OCDS)、国家级结构化采购数据库(例如 TED、ProZorro、SECOP 等)及行政数据科学的交叉点,并说明西班牙缺乏中央级的长期结构化数据集,这是本工作的定位贡献。2
数据源与抽取架构(Section 3)
数据来源为 BOE Section V‑A,时间区间 2014-01-01 至 2024-12-31,强调官方与可重用性(RISP 2007)。3
ETL 管道用 Python(3.9+)实现,模块化设计包括:obtener_anuncios.py、obtener_analisis.py、obtener_datos_economicos.py、obtener_extra_texto.py、main.py 和 test.py;HTTP 连接采用 requests.Session() 并配置重试/延时以保证抓取稳健性,依赖库(requests、BeautifulSoup4、pandas)被固定版本管理。代码仓库公开可获取,支持可复现性。该实现细节增强了再现性与工程质量说明。3
数据构建与变量(Section 4)
初次抓取得到 90,140 条观测,随后通过重解析新增 4 个变量(Naturaleza、valor_estimado_licitacion、valor_oferta_adjudicada、nombre_adjudicatario),并对多名中标方进行拆分,生成原始 97,154 条记录、共 15 个变量,与 OCDS 字段语义相衔接。该设计决策(分解多中标方)会影响后续按承包商聚合的分析结果,应引起注意。3
表 1 列出 15 个变量(Institucion、Organismo_responsable、Expediente、Fecha、Tipo、Naturaleza、Objeto、Procedimiento、Ambito_geografico、Materias_CPV、Codigos_CPV、valor_estimado_licitacion、valor_oferta_adjudicada、nombre_adjudicatario、Enlace_HTML),并标注类型与含义,明确了数据模式与字段含义。4
数据清洗与预处理(Section 5)
类型转换:所有字段先读为字符,Fecha 转为 Date,货币字段去符号并转 numeric(去千分符和逗号小数),类别变量规一化(大写、实体去重),CPV 简化为数值代码。该流程显示常见行政数据清洗操作与语言规范化策略。4
缺失值模式(表 2):valor_estimado_licitacion 缺失 54.67%(主要在未授奖的招标中出现),valor_oferta_adjudicada 与 nombre_adjudicatario 缺失 35.10%,Procedimiento 缺失 5.88%,Ambito_geografico 缺失 6.61%,Codigos_CPV 缺失 8.95%(早期公告缺失更多)。报告不对货币字段进行插补,反映谨慎的数据完整性策略。表 2 的数值揭示数据发布生命周期导致的互补缺失模式。4
过滤规则:删除 valor_oferta_adjudicada = 0 的记录以及小于 1,000€ 的记录(1,475 条,约 2.38%),清洗后数据为 96,032 条。分析子集进一步保留仅“Contratación”(有确认金额和承包商)的记录,最终建模与统计分析使用 60,456 条观测,涉及 79 个 contracting institutions 和 1,203 个 responsible bodies。这样的过滤决策会改变样本分布并可能引入选择偏差(移除超小额合同与行政占位符)。4 ,5
探索性分析(Section 6)
合同金额分布呈强正偏态,范围跨约六个数量级(最小 1,000€,中位数 110,436€, 均值 1,243,788€, 最大 4,317,800,000€),长右尾显著。该事实通过表 3 与图 1(对数尺度)得到量化与可视化支持。5
基于四分位的三层分类:微合同(低于 Q1,median 12,009€)、标准合同(Q1–Q3,median ≈ 104,447€)、宏合同(高于 Q3,median 912,738€),用于描述市场结构的异质性。该分类对后续聚类与市场分层分析是实务可解释的分层尺度。6
地理集中性:按合同数量排序,前五位为 Comunidad de Madrid(22,138)、Andalucia(5,792)、Nacional(4,439)、Sin definir(3,782)、Galicia(2,773),表明中央机构集中在马德里,这将对可得性与竞争格局产生影响。6
部门结构:Services 与 Supplies 合计超 85% 的记录,Works 排第三;并指出年际总体合同数上升与采购发布的数字化、COVID‑19(2020)与 Next Generation EU 资金(2021–2023)相关。这里将发布数量的增加与制度与周期性因素关联,提供了宏观解释。6
分析(Section 7)
7.1 多元线性回归:以 valor_oferta_adjudicada 为因变量,Institucion、Naturaleza、Ambito_geografico、Procedimiento、Organismo_responsable、Ano 作为分类自变量,70/30 划分训练/测试。模型在测试集的 MAE 为 1,911,532 ,RMSE 为 11,066,601,R2=0.014,Adjusted R2=0.005,表明解释力极低但能捕获部分结构性效应(地理与“Gestión de Servicios Públicos”类别系数显著)。作者解释低 R2 源自关键缺失变量(合同期限、投标人数量、分包/标段结构等)。7
7.2 无监督聚类(K‑Means):对 16,502 个唯一承包商以两项对数化聚合特征(合同数量总和与总中标金额)进行聚类,肘部法确定 k=3,得到三簇:高价值运营商(3,710,median value 4,428,634€)、标准运营商(7,770,median 314,049€)、微运营商(5,022,median 32,258€)。该分层显示市场呈金字塔结构并且承包商分布具显著不平衡。7 ,8
7.3 假设检验(Works vs Services):对 Works(n=6,077)与 Services(n=31,754)采用 Wilcoxon–Mann–Whitney 非参数检验;先验常规正态性与方差齐性检验均拒绝假设,最终检验 W=134,427,022,p < 2.2e−16,显著拒绝两组分布相等,Works 的中位数与均值显著高于 Services(Works median 296,266€, mean 2,616,298€;Services median 109,066€, mean 830,283€),与资本密集型特征一致。该非参数方法在拒绝常规检验假设后是恰当选择。8 ,9
三、图表深度解读(每个表格/图形逐一分析)
注:下面对报告中的每一个关键表格与图像逐条解读、联系文本并讨论潜在局限。引用图像以相对路径嵌入,便于视觉核验。
表 1(变量说明,页面 3)
描述:列出了 15 个变量及类型与每个变量的业务含义,构成数据模式的词汇表。该表明确了数据集面向 OCDS 对齐的字段范围(但并未给出 OCDS 字段名的严格映射表)。4
含义:为研究者提供理解列名与使用方式的基础,便于重用。注意“Objeto”为自由文本,可能需 NLP 进一步归类。4
表 2(缺失值模式,页面 3)
描述:主要变量的缺失率与性质(如 valor_estimado_licitacion 缺失 54.67%)。4
解读:缺失模式与行政发布生命周期高度相关(估价仅在招标尚未完成时出现,授奖后以授奖值取代估值),这说明对时间序列或招标—授奖对比分析时必须尊重生命周期语义,不能盲目插补或当作随机缺失处理。作者采取不插补货币字段的策略合理且保守。4
表 3(授奖金额描述性统计,页面 4)
描述:Mean 1,243,788€;Median 110,436€;Min 1,000€;Max 4,317,800,000€。5
解读:均值远高于中位数,表明平均值受极端大额合同(尾部)驱动;任何报告“平均合同规模”的结论若不同时给出中位数会导致误导。作者同时给出对数尺度直方图(图 1)来可视化摊布,良好地呈现长尾结构。5
图 1(授奖值分布对数刻度,页面 4)
嵌入图像:
描述与解读:上半图为估值分布(log10),下半图为授奖值分布(log10)。两者在 1e5–1e6 区间聚集,授奖分布在中间更为集中、尾部略短,支持“授奖值围绕估值收敛”的结论(即竞争调整效应)。但图上在左侧靠近 1e0 的少数点说明仍存在格式或清洗残留(低值或占位符),作者也在清洗中移除 <1,000€ 的记录。该视觉支持数据偏态与集中区间的陈述。5
图 2(对数尺度小提琴图,页面 5)
嵌入图像:
描述与解读:左右两侧分别为“估计值(红)”与“授奖值(绿)”的对数小提琴图,图中位数附近形态显示授奖值在中位周围分布更窄,尾部较短,支持“授奖值在中位附近比估值更集中”的结论。重要的是,小提琴图外的异常点说明尾端仍有大量异质合同,提示对均值的敏感性。6
表 4(地理范围前五,页面 5)
描述:前五地理范围按合同数量排序,马德里占 22,138 条,显著高于第二名。6
解读:强行政集中性意味着中央采购的空间不均衡,研究时应对地理集中特别建模(例如按机构加层模型),并关注“Sin definir”与“Nacional”类别的语义。数据中 6.61% 的 Ambito_geografico 缺失也可能影响地理统计的精确度。6
表 5(回归性能指标,页面 6)
描述:MAE 1,911,532;RMSE 11,066,601;R2 0.014;Adjusted R2 0.005。7
解读:模型在绝大多数经济学或预测场景下表现甚差,意味着仅凭本文可用的分类变量无法合理预测中标金额;作者合理解释缺失关键预测因子并建议非线性模型与更多变量作为扩展。对策上可以考虑对值做更强的对数变换或分段建模(微/标准/宏合同分别建模)。7
图 3(预测 vs 实际 hexbin,页面 6)
嵌入图像:
描述与解读:图中多数点(hexbin 高密度)位于对角但略偏下/上,显示模型对中等规模合同有较好拟合而对极端(小额或超大额)合同误差更大。此图支持作者关于模型“对标准合同较准确、在尾部发散”的论断。7
表 6(K‑Means 聚类摘要,页面 7)
描述:三簇的中位值分别为高价值 4,428,634€、标准 314,049€、微 32,258€,簇大小分布为 3,710 / 7,770 / 5,022。8
解读:簇间差异明显,聚类以承包商级别刻画市场结构是有用的治理信息(例如竞争政策与中小企业参与度分析)。需要说明聚类基于两维对数汇总指标,未考虑部门/地域异质性,因此簇解释需谨慎。8
图 4(聚类散点图,页面 7)
嵌入图像:
描述与解读:图在 log-log 平面上以颜色区分三簇,视觉上红色簇(高价值)扩散在更高总额区,绿色为中等,蓝色为微型参与者。作者未给出聚类稳定性检验(例如 Silhouette 或重复初始化的稳健性),这应作为后续补充。8
作品 vs 服务的箱线图与表 7(页面 8)
嵌入图像:
描述:表 7 给出 Works 与 Services 的 N、median、mean、max;图 5(箱图)显示 Works 的中位数和 IQR 均高于 Services。统计检验(Wilcoxon)高度显著,支持两类合同在金额分布上的差异结论。9
四、估值分析(估值方法与模型评估)
报告并未执行传统公司/资产估值(如 DCF 或 Comparable P/E 等);此处“估值”指的是对合同授奖金额的统计与预测建模(多元线性回归)及承包商聚类分析。模型使用的主要输入为类别变量(机构、性质、地域、程序、责任单位、年),关键假设为这些分类可以表征合同价值的结构性差异,但实际结果的低 R2 表明该假设不足以支持精确预测。作者明确指出缺失“合同期限、投标者数量、标段结构、技术复杂性”等不可或缺变量。就模型评价而言,报告对结果解读是诚实且保守的。7 ,9
五、风险因素评估(报告中辨识的风险与影响)
报告列举并讨论了若干风险与局限:数据仅反映 BOE 发布(出版偏差、延迟、缺项)、HTML 复杂性导致分类错误(例如将争议机构 TACRC 错误识别为承包商)、关键预测变量缺失、提取时的结构性 artefacts(占位符金额等)以及过滤规则(移除 <1,000€)对样本的影响。作者提供这些问题的明确记录与示例,提升了工作的透明度。对每项风险,作者多为描述性陈述但并未对出现概率或量化影响给出具体估计,也未提供全套缓解机制(仅提供代码与已记录的问题)。9
六、批判性视角与细微差别(审慎观点)
数据选择偏差:作者将多中标方拆分为单个承包商记录,这一设计便于承包商层面聚合分析,但会在按合同计数时双计合同主体(合同被拆分为多条);报告中虽提及此处处理,但未在后文全面讨论拆分对不同指标(如合同计数、平均金额)带来的系统性影响。该问题可能导致承包商级别的“合同数量”指标膨胀。建议在使用该数据时明确区分“合同记录数”与“原始合同数量”。3
清洗阈值影响:移除 <1,000€ 的记录与 valor_oferta_adjudicada = 0 的删除规则会影响微合同统计与中小企业参与度分析,作者应当在数据发布元数据中标注这些过滤阈值(报告中有提及但应在数据产品说明中突出)。4 ,5
抽取误识别(TACRC 等):表明自动化抽取对于结构性异常敏感,尤其是法律文本中组织名称语境复杂,需补充实体消歧与人工审核的策略以减少误报。报告虽记录该问题但未提供修正版样本或纠错清单。9
模型选择:线性模型在高度异质、长尾数据上表现差,报告已指出并建议非线性模型或分段建模为后续方向,但若目标为预测,应优先尝试对数转换后的回归、分位回归或树基模型并进行严格交叉验证。作者在讨论中提出这些扩展,但并未在本稿中验证。7 ,9
可比性与 OCDS 对齐:报告声称“对齐 OCDS”,但未在主文档中附上逐字段映射表(OCDS 字段名 ↔ 本数据字段),这对其它数据库的直接互操作仍构成摩擦,建议在数据发布的 README 中提供明确映射。该问题在“贡献”中被宣称但在实施细节中未见完整呈现。2 ,4
七、结论性综合(关键发现汇总)
数据集与管道:作者提供了一个可复现的 ETL 管道与开放 CC0 数据集(Zenodo DOI),使得西班牙中央级采购数据的长期可用性和再现性大幅提升,且代码与数据均可公开获取以支持后续研究与政策评估。该贡献在数据可用性层面具有较高价值。 10 ,3
数据特征:合同授奖金额分布严重偏态,均值被极端值拉高,中位数与对数尺度视图更能反映“典型合同”规模。地理与部门集中显著:马德里与服务/供应占主导地位;Works 的合同金额显著高于 Services,且分布更分散。以上均有统计与图示证据支持。5 ,6 ,9
市场结构:承包商呈三层分化(高价值 / 标准 / 微型),小部分承包商集中高额合同,广泛的参与者多为低额或偶发承包商。该金字塔式结构具有政策含义(例如针对中小微企业的公平竞争与市场准入政策)。8
建模结论:以报告可得字段建立的多元线性回归对授奖金额预测能力极弱(Adjusted R2≈0.005),显示需要更多结构性变量或更复杂模型以实现有效预测;作者对此进行了自我批评并提出改进方向。7
数据局限与透明度:报告对数据局限性(缺失、发布偏差、抽取误差)有明确说明并公开代码与数据以便复核,但仍需在数据产品文档中进一步注明拆分规则、清洗阈值、字段水平映射(OCDS)及常见抽取错误清单来提高可用性与信任度。9 ,4 ,3
八、实务建议(基于报告发现的可操作建议)
在使用该数据进行经济或政策分析时,优先采用中位数/对数刻度指标或分位数回归来对抗长尾与极端值的影响;并在研究报告中同时披露样本过滤规则(如 <1,000€ 的删除)。5 ,4
若进行承包商市场集中度分析,应回溯考虑“多中标方拆分”为单条记录的影响,并在必要时以原始合同 id(Expediente)对结果做加权或去重。3
对于需要更高质量的实体识别(承包商名称、机构名)分析,建议在 ETL 基础上加入基于规则的后处理或基于模糊匹配/正则与知识库对齐的实体消歧管道,并对常见错误(如 TACRC)提供排错清单。9
九、总体评价(客观且面向再利用)
报告在方法论、工程实现与开放科学方面具有显著贡献:公开的 ETL 管道、OCDS‑aligned 目标与 CC0 数据发布为后续学术与政策研究提供了极高的起点和可复现资源。该工作填补了西班牙中央层面长期采购数据结构化缺口。作者同时以严谨的方式披露了多项局限,提升整体可信度。2 ,10 ,9
报告主要不足在于(1)对 OCDS 的逐字段映射未在文内全面呈现,(2)抽取误识别与清洗阈值对下游分析影响需要更明确的元数据说明,(3)模型仅为线性基线且预测性能有限,后续研究需扩展到更复杂特征与非线性方法。上述问题并不削弱数据集作为开放资源的价值,但在进行政策结论或预测性应用时应注意。 2 ,4 ,7 ,9
附:关键图像(用于核验与参考)
图 1(估计 / 授奖值分布对数尺度):
5
图 2(对数小提琴图):
6
图 3(预测 vs 实际 hexbin):
7
图 4(承包商聚类 scatter):
8
图 5(Works vs Services 箱线图):
9
結语:总体而言,该报告在“工程—数据—开放科学”链路上完成了高质量的工作,为西班牙中央采购研究提供了可重复且开放的基线资源;同时作者对局限的自我揭露也提示后续改进方向(实体消歧、补充变量采集、非线性建模与更完整的 OCDS 映射)。若需,我可基于本数据集进一步执行(1)承包商市场集中度(HHI)分析、(2)按机构/行业的时间序列趋势模型或(3)为回归构建增强特征(文本相似度的技术复杂性 proxy、招标期长度估计等),并提供可复现的代码示例。