本文提出一种基于网络分析的实证策略,通过对意大利三届经济学、统计学及工商管理研究评估面板成员的合著、期刊发表和机构归属三种网络连结结构比较,检验其智识构成的公平性。结果显示,2004-2010年及2011-2014年两届面板成员之间的合作及相关网络链接显著强于2015-2019年随机抽选的控制组面板,表明前两者存在认知同质性和潜在的不公平状况,可能导致评价结果的偏向和认知偏见。
报告标题:
IS THE PANEL FAIR? EVALUATING PANEL COMPOSITIONS THROUGH NETWORK ANALYSIS. THE CASE OF RESEARCH ASSESSMENTS IN ITALY
作者:
Alberto Baccini, Cristina Re
所属机构:
意大利锡耶纳大学政治经济与统计系
发布日期:
文中未注明具体发布年份,但数据显示数据涉及至2019年结束。补充材料最晚为2024年初。
主题:
本报告研究意大利经济学、统计学与商业领域研究评价面板的组成人员公平性,运用社会网络分析方法检视面板成员间的学术合作关系、发表期刊和所属机构,评估能否反映学术多样性及程序正义。
核心论点与结论:
作者认为,仅凭面板成员的表面特征(如性别、机构、地理位置)判断公平不足,还需考察其内部的学术和社交联系。利用共著网络、基于期刊的网络及成员所属机构的“亲和力网络”,评估三个不同选拔机制的面板:前两期由意大利政府评价机构直接任命,第三期面板通过随机抽签选出作为对照。结果显示前两期面板的成员联系紧密度明显高于随机选拔的第三期面板,存在潜在的偏向或“认知特殊主义”,导致程序层面和实质层面不公平,影响了研究评估结果的公正性。,1,2]
报告开始强调研究评估在全球研究政策中正变得愈发核心,逐步融入大学和科研机构资源分配。评估的程序正义(procedural fairness)尤为重要,这是确保决策公正透明的关键,包括评审者的无偏、独立及代表性。通常,面板公平定义依赖于可观测特征(性别、年龄、机构、地域),以及科学能力和学科领域的平衡。然而,单纯的表层特征平衡并不保证学术观点的多元或公平体现。
为体现程序公正,面板应合理代表所有受影响利益方。但实际操作中,如何界定“所有利益方”及其评价维度非常复杂。已有研究多关注评估结果的公平分布,例如性别、种族、声望对评奖的影响,较少探讨面板内部知识结构的公平问题。
该部分强调学科内部的认知与文化差异是面板公正性的核心难题,表明仅满足表面性别与地理的多样性远不足以涵盖智识多元,因而须分析成员的知识网络关联。
意大利针对2004-2010、2011-2014、2015-2019三轮研究评价(VQR)设立了对应面板(GEV)。前两轮由ANVUR(国家研究评价机构)董事会直接指定,第三轮采用抽签随机选拔,后三者仅从对面板申请者中抽取成员。前两轮关注性别、外籍及机构分布(例如第一轮要求20%外籍),第三轮则要求5%女性且以随机抽签为主。官方宣称各项指标均达标,但缺乏对单个面板的详细数据披露,公众和学界对此公平性存疑。
特别指出经济学、统计学和商业面板的成员高度同质,后者常被曝光为某特定派别(极端自由主义)的核心,存在“利益集团捕获”的过程,影响评估的客观性和多样性。
报告避开复杂主观的视角划分,采用网络分析,以“联系强度”量度面板成员间的知识视角相似度,具体建立三类网络:
报告以第三期面板作对照组,假设申请流程自选者特性一致,由此控制其自选偏差,仅捕捉政府指派过程可能带来的系统性偏差。
先比较三个网络的规模、作者和合作数量,发现前两期面板成员合作更密切、论文重叠性更高。第三期面板合作更分散,作者合作度(degree)和中介中心性(betweenness)较低,结构更分散。前两期面板存在大型主连通分量(第一期65%的节点与24位成员联结),第三期面板则构成更多小团体,成员更孤立,体现出前两期面板成员间较强的合作纽带和认知同质性。, 33-34]
三个面板成员发表期刊数逐步增加,第三期成员平均期刊数最高,反映更广泛学术覆盖。基于“期刊重合度”的单模式网络密度及成员连接度,第一二期面板明显高于第三期。采用岛屿检测算法,第一二期大岛(即高度连接子群)分别含有超过一半成员,第三期则无明显大岛,超半成员未归属任何群岛,表明其期刊发表分布更均匀分散,学术视角更为多元。
图2展示了三个面板的期刊网络岛屿分布,核心成员相较共著网络出现位移,显示不同视角层次间联系的差异性。
数据基于成员及其关键合著者的教研机构背景、硕博院校及社会性媒体发表记录。亲和力网络反映成员社会政治及认知联系。对三面板的双模网络投影分析,第三期面板变量明显较低,机构及成员间邻接程度稀疏,权重偏低。岛屿分析显示,前两期面板存在大型核心群岛,包含绝大多数重要成员和机构,第三期则结构更加碎片化,重要成员分散在多个小岛。
图3和图4展示了成员和机构的亲和力网络,前三均以博科尼大学为核心,但第一二期连接度和中心性远超第三期。此现象揭示前两期存在实质且隐形的社会和意识形态“共同体”,可能影响研究评价的多元性。, 33, 38-42]
本报告为社会科学领域的研究方法论研究,不涉及财务数据或估值模型,故无现金流折现(DCF)、市盈率(P/E)等估值方法相关内容。
本报告通过对意大利三轮经济学、统计学与工商管理学科研究评价面板的详细网络结构分析,确认前两期面板成员间存在显著高于随机对照组的学术和社会联系度,反映其组成远非理想的学术多元和程序公正。具体体现在:
这一系列网络结构的差异表明,前两轮面板通过非随机、且不公开透明的任命程序造成了认知上的“圈内人”效应,可能导致评估结果不公正,并限制了学科内部多样声音和创新。基于以上,报告建议:
综上,面板组成的深层次分析是破解研究评价制度内隐不公平和认知偏见的重要工具,能有效辅助政策制定者构建更公正、有效的学科评估体系。
为确保分析准确,全文对所有章节进行了系统阅读与观点梳理,重点分析了所有关键表格与网络图示的数据内涵和理论联系。所有引用均标注页码便于查验。分析力求客观中立,避免未基于文本的个人臆测。
如需针对报告中任何技术性内容(如“介数中心性”、“岛屿算法”)进一步详细解释,也可提供。
2405.06476.pdf