本报告基于金融时间序列数据,提出改进时序交叉验证的方法,包括建立更合理的基线模型和精准切分训练验证集,从而减轻机器学习模型(如逻辑回归和XGBoost)过拟合风险。通过对比六种交叉验证方法,分组时序交叉验证表现最佳,具体表现在测试集AUC、因子收益率及单因子分层回测中优于传统K折验证。同时,通过图表分析证实时序信息的保留是性能提升的主要原因,改进后的方法为金融机器学习模型调参提供了更科学有效的实践路径。
核心论点与结论:
本报告基于前期的研究成果,进一步聚焦时序交叉验证方法,针对传统K折交叉验证在时间序列数据上的过拟合问题,提出了两个改进方向:
model_selection模块的代码改写,实现“分组时序交叉验证”,确保验证集严格位于训练集之后,避免样本混淆。实证结果显示,分组时序交叉验证优于原始时序交叉验证,且两者均优于基线模型和传统K折交叉验证,说明保持样本时序信息是提升模型泛化能力的关键因素。这也提示该改进具备较强抗过拟合能力,推荐在时序机器学习模型调参时使用分组时序交叉验证。
风险提示中指出:时序和分组时序交叉验证高度依赖基学习器的表现,当未来市场环境变化导致基学习器失效时,该方法也面临失效风险,同时存在一定欠拟合风险。
报告开篇将机器学习模型比拟为基金经理,强调交叉验证在“选拔”优秀模型上的核心地位。经典K折交叉验证假设样本独立同分布,难以适用于强时序相关的金融数据。之前报告已验证时序交叉验证能有效降低过拟合,提升模型的测试表现和收益稳定性。本篇进一步改进基线模型设计与训练-验证集切分策略,旨在更科学地揭示时序交叉验证优势的内在驱动机制。
K折交叉验证随机将样本划分为K份,充分利用样本训练模型,但不考虑时间顺序,样本存在信息泄露,导致时间序列数据上过拟合。
时序交叉验证保持时间顺序,逐步扩大训练集,验证集严格后移,符合时间序列特性。
前期研究发现,时序交叉验证虽然训练集表现不及K折,但测试集稳定性和表现优于K折,尤其在复杂模型如XGBoost上差异明显,体现时序交叉验证的更低过拟合风险。
报告指出传统K折作为唯一基线模型无法明确揭示时序交叉验证性能提升的真正原因。时序交叉验证的提升可能来自:
为区分两者影响,设计两种新的基线模型:
训练集折半的K折交叉验证: 保持K折的验证集划分不变,训练集随机取一半样本,控制样本量与时序交叉验证类似,破坏时间顺序。
乱序递进式交叉验证: 类似时序交叉验证但先打乱数据,破坏时序信息,保留样本大小不变。
比较发现如果时序交叉验证明显优于这两者,便表明时序信息的保留是优势核心。
采用TimeSeriesSplit类时存在训练集和验证集拆分不彻底的问题,月度样本未完全保持整月划分,存在同一月份样本一部分分配到训练集,另一部分分配到验证集的情况,违背时序交叉验证初衷。
针对该缺陷,自行设计GroupTimeSeriesSplit类,实现“分组时序交叉验证”:
_split.py及__init__.py改写,并在主程序调用中应用了该方法。并设计新的基线模型——乱序分组递进式交叉验证作为对照。
整体测试流程展示于图表8和图表9,通过各个阶段逐步提炼模型表现[kpi],并对所有交叉验证方法一视同仁地执行。
整体来看,分组时序交叉验证是对时序交叉验证样本切分的关键细节提升,避免了“月中”拆分问题,使训练验证集划分更科学。
图表13(模型性能指标点评):
图表14、图表15(逐月累积AUC差异)反映了各方法相对K折的性能差异动态,时序特别是分组时序随时间推移呈上升趋势,优势明显积累。
综合图表数据,报告充分说明时序和分组时序交叉验证提高了模型在测试集上的稳健表现及单因子因子组合表现,但该优势未完全传导至最终策略组合绩效。
本报告不涉及直接的公司估值或具体财务指标估值模型分析。研究重点为机器学习模型调参方式对选股有效性的影响,涉及基学习器超参数的优化(逻辑回归正则化系数、XGBoost的学习率、最大树深度及采样比例等),但未展开估值模型本身的讨论。
调参基于交叉验证方法选择最优超参数组合,间接通过模型性能评估实现“最优估值”的机器学习模型结构。
报告无具体缓解策略,但提醒风险存在,需投资者结合实际环境审慎应用。
总体报告写作严谨,数据和方法详尽,无明显夸大,保持专业审慎,适度提醒风险,展现出较高学术规范水平。
本报告系统研究了传统K折交叉验证在金融时间序列数据上存在的过拟合问题,提出并实证检验了基于时序信息保留与样本变动的两大改进方案:
综上,华泰金工研究团队的报告清楚地表明:对于金融时间序列的机器学习调参,分组时序交叉验证提供了一个科学且实用的改进方法,有效缓解了过拟合风险,是当前时序数据模型调参中的推荐实践方案。
| 图表编号 | 内容简述 | 关键发现及联结 |
|---|---|---|
| 图表1-2 | 传统K折与时序交叉验证示意 | 标准方法对比,展现时序交叉验证时间序列信息保留优势 |
| 图表3-6 | 新基线模型与分组时序交叉验证示意 | 设计多基线模型解剖效能来源,分组思路保证月度样本粒度切分严谨性 |
| 图表13 | 六种交叉验证模型性能对比(准确率,AUC) | 样本外测试集表现分组时序交叉验证最佳,明显优于K折;样本内K折最好,过拟合明显 |
| 图表14-15 | 各方法慢变量性能差异累积曲线(逻辑回归与XGBoost) | 系统展现时序交叉验证随时间稳定优于K折优势 |
| 图表16-20 | 单因子测试指标对比(回归、IC、因子收益率等) | 体现时序交叉验证单因子表现超群,稳健性提高 |
| 图表21-22 | 单因子分层回测及TOP组合绩效 | 体现时序交叉验证在股权分配及收益波动上优势明显 |
| 图表23-24 | 多因素全A策略组合回测指标对比 | 策略构建复杂约束削弱模型优势,实际组合效果表现中等 |
| 图表25-27 | 分组时序交叉验证代码实现示意 | 实施细节、代码架构及调用方法,助力可操作性 |
报告通过严格设计的实验和丰富的数据分析,彰显了“分组时序交叉验证”在金融时间序列机器学习模型调参中的实用效果,清晰解释了性能提升的来源,提出了更加严谨的训练验证数据划分方案,并实现了实际代码改造,具有较高的学术及行业实操价值。报告奉劝研究者在时间序列机器学习实验设计中摒弃盲用传统K折交叉验证,拥抱时序交叉验证及其改进方法,进而提升模型泛化能力与策略稳健性。
参考文献标注: 本分析所有结论与论述均来自原报告内容,文末页码以格式[pidx::页码]表示,例如本节内容覆盖报告2019年02月18日版本全部章节,以示来源明确。
图表1 K折交叉验证示意图:
图表2 时序交叉验证示意图:
图表13 模型性能对比:
图表14 逻辑回归各交叉验证相对K折AUC之差逐月累积值:
图表15 XGBoost 各交叉验证相对K折AUC之差逐月累积值:
图表17 逻辑回归各交叉验证相对 K折因子收益率之差的逐月累积值:
图表18 XGBoost各交叉验证相对K折因子收益率之差逐月累积值:
图表19 逻辑回归各交叉验证相对K折RankIC之差的逐月累积值:
图表20 XGBoost各交叉验证相对K折RankIC之差的逐月累积值:
(全文完)
【华泰金工】人工智能16:再论时序交叉验证对抗过拟合20190218.pdf