本论文提出合成数据如同“填充材料”,可填补经济预测模型中的数据空缺,从而提升模型在有限或缺失数据场景下的性能与稳健性。基于Affinity信用卡消费与Womply小型企业数据,研究构建了利用多种缺失值处理技术的基线模型,并设计了随机森林生成合成数据的混合数据模型。实证结果显示,混合数据模型在OLS回归和随机森林预测中显著优于传统方法,证明了合成数据对经济预测的潜在提升价值 .
研究背景与目的
关键数据介绍
探索性数据分析与缺失情况
缺失值处理与基线数据集构建
模型选择与合成数据生成
模型测试结果表明合成数据效果优显著
| 模型 | OLS回归系数 merchants_all | 标准误 | t值 | 统计显著性(p值) | 随机森林 MAE | MSE | R² |
|---|---|---|---|---|---|---|---|
| Model 1 | 1.6710 | 0.198 | 8.430 | 0.000 | NA | NA | NA |
| Model 2 | 1.6710 | 0.198 | 8.430 | 0.000 | 0.162 | 0.042 | -5.92 |
| Model 3 | 1.6710 | 0.381 | 4.382 | 0.000 | 0.217 | 0.077 | -0.75 |
| Model 4 | 1.6710 | 0.198 | 8.430 | 0.000 | 0.232 | 0.088 | -1.06 |
| Model 5 | 4.2133 | 0.165 | 25.588 | 0.000 | 0.092 | 0.017 | 0.55 |
研究局限与未来方向
报告题目:《Packing Peanuts: The Role Synthetic Data Can Play in Enhancing Conventional Economic Prediction Models》
作者信息: Vansh Murad Kalia,哥伦比亚大学社会科学定量方法硕士候选人
指导教授: Prof. Gregory M. Eirich
发布日期:(具体发布时间未提及,推测为2023-2024年)
研究主题: 经济预测模型中合成数据的应用,特别是合成数据与真实数据混合使用对提升经济预测准确性和模型稳健性的作用。
本论文探讨了合成数据(Synthetic Data)如何充当“包装花生”一般的辅助材料,在经济预测模型中提升传统模型的性能和稳健性。作者的核心论点是,合成数据尤其是在真实数据稀缺或缺失严重时,结合真实数据形成的混合数据集,有望显著提高模型的预测能力。研究基于Affinity信用卡消费数据和Womply小企业数据,构建真实及合成数据混合的模型,展现该方法优于传统仅用真实数据模型的潜力。核心结论明确:采用所提出的混合数据方式,能超越传统经济预测模型的表现 [1](#paper-page-1),2]。
merchants all变量存在大量缺失,适合测试数据填补和合成数据生成的效果。数据时间跨度涵盖2019年至2022年,兼顾疫情期间经济波动。daily spend 19 all变量在1253个观测中均值约0.28,标准差0.267,范围从-0.643到1.2。merchants all缺失较多,仅109个观测,均值-0.056,标准差0.067,范围-0.302到0.086。merchants all数据缺失严重,日消费数据完整。缺失数据为后续合成数据填补提供了必要背景。merchants all对daily spend 19 all的线性影响,求出系数和显著性,作为基线模型。merchants all变量的缺失值。merchants all系数最高为4.2133,远大于其他模型(1.6710上下),表明合成数据极大增强了预测变量的解释力度。且模型5标准误更低,t值和显著性水平最高,提示混合数据带来更稳定精准的参数估计。| 变量 | count | mean | std | min | 25% | 50% | 75% | max |
|---|---|---|---|---|---|---|---|---|
| daily spend 19 all | 1253 | 0.280 | 0.267 | -0.643 | 0.124 | 0.243 | 0.455 | 1.200 |
| merchants all | 109 | -0.056 | 0.067 | -0.302 | -0.066 | -0.049 | -0.021 | 0.086 |
此表基本描述了两个关键变量的样本大小、均值、离散程度和分布范围,直观反映merchants all数据严重缺失,仅有109条有效记录,提示该变量的稀缺性,迫使研究必须用合成数据补漏。相对地,daily spend数据充足,且均值为正,波动较大说明消费行为多样。
该图清晰展示2019年到2022年间每日消费的波动,2020年初出现明显断崖式下跌,反映疫情引发的支出骤减,随后逐步回升且总体增长。数据分布的季节性波动强烈,年底峰值突出,符合消费季节性逻辑。
显示2020年4月期间,小企业数量下降到30%的负增长,下跌幅度大且持久,反映疫情对企业开业活动的打击,且小幅反弹后长期保持负增长状态,说明疫情后恢复缓慢,经济韧性不足。
通过缺失矩阵展示缺失热点,daily spend无缺失,merchants all缺失严重,零碎数据点,强调了数据预处理和填补的必要性。
该图展现混合集成数据的散布,看似填补了先前缺失点,数据点更加密集且分布均匀。此图验证了合成数据填充缺失区域的效果,增加了数据连续性,有利于模型学习完整趋势。
真实数据较为稀疏,聚集在有限时间段,分布不连续,对模型训练不利,缺失明显。与图4对比清晰彰显合成数据的补充价值。
本论文不涉及传统金融意义上的股票估值或企业估值,但在经济预测模型上实际应用了两种核心建模方法:
merchants all变量与daily spend 19 all之间的线性关系,重点在于系数的统计显著性和解释力度。合成数据的生成本质上基于随机森林模型的输出,即将模型视为生成器,对缺失数据进行预测填补,形成完整数据集,为模型训练提供充分和连续的数据支持。此举属于基于模型的合成数据生成法,可有效利用已有数据的非线性模式增强数据完整性。
论文对此识别明确,提出未来研究方向,体现出对风险的清醒认知和谨慎态度。
整体看,论文较为诚实地呈现了限制与不足,同时也确保结论不偏激,属于审慎且务实的研究。
本论文系统展示了合成数据与真实数据的混合使用,在含有严重数据缺失的经济预测场景下,能够极大提升模型的表现力和稳健性。利用Affinity和Womply数据,构建了五套模型对比,其中混合含合成数据的模型(模型5)在OLS和随机森林两种建模方法下均表现出显著的性能优势:
图表充分佐证合成数据有效填补缺失,增加了变量的完整性和连续性,使模型能学到更全面的非线性关系,大幅提升了预测精度。
论文结合当前合成数据领域的前沿文献与实践,提出了具体的后续研究路径,如采用GAN、变分自编码器等更复杂生成模型,期望进一步提升模型性能和泛化能力。
总结来看,作者从理论、数据处理、模型选择到实证验证,都较好地响应了研究问题,提出了合成数据混合方法在经济预测模型中的实际价值,且研究结论具有较强的说服力和推广意义 [1–13](#paper-page-1)。
多个结论和论断均严格对应报告原文页码,如:
该报告立足于解决经济预测中数据缺失这一难题,创新性地将混合型合成数据引入建模流程,并结合线性与非线性模型进行效果验证,系统展现了该方法的有效性和优越性。报告的数据分析严谨,图表清晰,方法选择合理,风险评估较为充分,同时对技术局限保持客观审慎态度。推荐相关领域深入关注合成数据技术在经济预测间的应用潜力,尤其在数据稀缺性日益凸显的背景下,混合数据策略展现了广阔的应用前景。
2405.07431.pdf