本论文提出基于XGBoost的机器学习方法,利用高维特征空间(110维)及大规模美国证券交易数据,实现对非法内幕交易的高精度识别。模型准确率超过97%,并借助特征重要性排序揭示治理、财务和交易特征在检测中的核心作用,显著优于传统方法。实验证明去相关处理提升了特征解释力,同时参数调优及交叉验证保证结果稳健,为证券交易监管自动化检测提供新思路
| 数据规模 | 特征数 | PCA | ACC (%) | PRE (%) | TPR (%) | FNR (%) | FPR (%) | TNR (%) |
|---|---|---|---|---|---|---|---|---|
| 320 | 25 | 无 | 83.34 | 84.67 | 81.88 | 18.12 | 15.20 | 84.80 |
| 320 | 110 | 无 | 89.24 | 89.59 | 89.30 | 10.70 | 10.82 | 89.18 |
| 3984 | 25 | 无 | 98.12 | 98.19 | 98.05 | 1.95 | 1.80 | 98.20 |
| 3984 | 110 | 无 | 99.02 | 97.32 | 98.98 | 1.02 | 0.93 | 99.07 |
报告标题:An extreme Gradient Boosting (XGBoost) Trees approach to Detect and Identify Unlawful Insider Trading (UIT) Transactions
作者及机构:Krishna Neupane、Igor Griva,分别来自George Mason University的计算与数据科学系及数学科学系
关键词:非法内幕交易(UIT)、集成方法、决策树、欺诈活动、XGBoost
报告页码范围:0-11
本报告由George Mason University学者撰写,发表时间不明(但引用2024年相关文献)。主题聚焦于应用极端梯度提升(XGBoost)算法,解决非法内幕交易(UIT)检测与识别问题。
报告核心论断是:针对大量且复杂的证券交易数据,传统人工和手工提取特征方式因非线性交互及特征依赖难以准确识别非法内幕交易,而采用XGBoost这类高级机器学习(ML)技术,能够突破传统方法局限,实现高达97%以上的交易识别准确率,同时揭示影响识别的重要特征。文中还详细探讨特征筛选、超参数调优和模型性能评估。
作者的主要信息传递是:
报告首先综述了内幕交易领域的经典理论,包括Kyle(1985)等对信息不对称的阐述、流动性偏好理论及法律争议。介绍了从经济学到法律学对内幕交易影响与监管的研究,指出内幕交易隐蔽性强,交易行为往往伪装于常规交易,使传统基于单一或线性特征的检测方法效果不佳。文献回顾覆盖了信息不对称、市场效率、监管效果及流动性影响的多角度分析,强调模型设计需适应非线性、复杂交互的现实挑战 ,1]。
针对传统方法的局限,报告介绍了ML中集成模型(Random Forest、XGBoost)在金融欺诈及UIT领域的潜力。强调XGBoost能够处理高维特征、非线性关系、多维交互,自动学习复杂模式,规避人工特征工程的误差和遗漏。先前文献中,XGBoost准确率达85%以上,Random Forest曾达到95%以上,但结合更多特征和大规模数据时表现尚待优化。当前研究通过扩展特征数目(由26扩至110),并利用更大规模美国证券市场交易数据,提升了识别精准度,且采用更简便的超参数搜索手段提升效率 。
XGBoost采用梯度提升理论,核心思想是通过多个弱分类器(决策树)顺次叠加,每一步皆极小化带正则项的目标函数。目标函数包括传统损失(如类别交叉熵)和复杂度惩罚,后者避免过拟合。文中给出公式详述,包括叶节点数目正规化、叶权重L2惩罚及残差拟合过程。说明XGBoost优势在于高效内存管理、分布式计算及强大的非线性关系捕捉能力 ,3]。
文中系统讨论了控制模型性能的主要超参数,如学习率η、叶节点正则化λ、最小分裂改进阈值γ以及采样率(行列抽样),并强调调优的重要性以达到泛化能力和防止过拟合。同时,采用XGBoost和Random Forest类似的Mean Decrease Impurity(MDI)方法对特征进行重要性评级,但此方法存在对相关性特征偏倚问题。
为此,报告还采用第二种基于置换重要性的排名方法,结合层次聚类消除特征相关性后评估特征重要性,更能展示真实特征贡献,是特征解释性工作的关键补充 ,4]。
数据来自美国SEC Form 4申报,与CRSP及Compustat-CapitalIQ数据库整合,涵盖3984条全标注交易(1992非法、1992合法)。数据具110维特征,涉及企业治理、交易行为、财务状况等。数据集用80/20比例分为训练/测试。数值特征z-score归一化,类别特征使用one-hot编码。超参数调优采用随机搜索与5折交叉验证,重复实验100次以获稳定结果。数据相关性处理通过Spearman秩相关和层次聚类实现。以Deng等(2019,2021)和Neupane及Griva(2024)研究作为基准对比 。
依据不同交易规模(320 vs 3984)、特征维度(25 vs 110)及PCA处理,报告展示了准确率(ACC)、精确率(PRE)、真阳性率(TPR)、假阳性率(FPR)、真阴性率(TNR)、假阴性率(FNR)等指标。
主要发现包括:
特征排序分为三种方法:
层次聚类和Spearman相关矩阵(附图3、4、8)揭示特征间复杂相关关系,处理相关性后模型解释性更佳,恰当选定代表性特征避免多重共线性影响,增强特征重要性排名的准确性和经济学解释力。
本文强调,董事会成员身份(IsDirector)、市场贝塔(Market Beta)及公司回报率在用户识别非法交易中极具价值,表明治理结构与市场风险因素在非法行为揭露中有重要作用 ,7,8]。
结论总结:基于XGBoost的高维特征分类器在UIT检测中表现优异,准确率超过97%,尤其在降低假阴错误方面取得显著成效,使得非法交易检测更加可靠。特征重要性分析揭示,除传统财务指标外,治理结构特征亦为识别非法交易的重要来源。
未来研究方向包括:
该报告为UIT检测提供了技术前沿的实证框架,对监管实际工作具有较强指导意义 ,9]。
表明分类结果按照真实标签(Lawful/Unlawful)和预测标签(Positive/Negative)划分,定义了TP、TN、FP、FN。此表是计算相关性能指标(准确率、精确率等)的基础。
展示不同类别(合法、非法)中买入/卖出交易数量与比例。副本子集规模与Deng等研究匹配,为方法对比提供基础。
虽然本报告不涉及公司估值模型,但详细讨论了XGBoost的技术原理和针对超参数的调优策略。其核心在于:
该方法论的科学严谨性支撑了整体实验设计的可重复性与稳健性。
报告中并无专门“风险评估”章节,但可从以下方面理解潜在风险及限制:
虽然报告未明显提及缓解措施,但采用交叉验证、多轮随机试验、特征去相关等策略显著缓释上述风险。
本报告系统展现了将先进的XGBoost算法应用于美国证券市场非法内幕交易识别的完整流程与成果。通过扩展特征空间和数据规模,采用多样化性能指标及严格的交叉验证流程,XGBoost模型展示了极高的准确度(最高达99%)、极低的漏检率(最低约1%),显著超过文献中多种基准方法。
特征重要性分析揭示市场风险指标(市场贝塔、HML Beta)、企业财务指标(收益、负债权益比、盈余等)及公司治理特征(董事身份)是非法交易识别的关键驱动因素,符合现代金融理论与市场监管实践。通过对特征间复杂相关性的系统去除,验证了各特征真贡献度,增强模型的可解释性和实用性。
本研究不仅在技术上验证了XGBoost处理高维金融数据的效力,也为监管机构利用机器学习辅助非法交易监控提供了有力方法论支持,具备高度应用价值。未来结合因果分析与更加智能的超参数优化,或能进一步提升模型敏感度和解释透明度。
文中对相关文献大量引用,包括Kyle(1985)对内幕交易信息不对称的标志性理论,业界先行的Deng等(2019,2021)对集成模型的实证研究,及Neupane和Griva(2024)此前基于随机森林的直观比较。
本报告为非法内幕交易识别提供了具有现实意义的机器学习解决方案,在准确率及错误控制方面均取得领先表现。利用XGBoost强大的集成树模型优势,扩展特征和大数据规模显著提升模型表现,并通过细致的特征相关性分析及解释提高了可操作价值。该研究对证券市场监管科技化和反欺诈领域贡献突出,为后续结合因果推理、优化算法提供优质研究基础和发展方向。
2511.08306.pdf