本报告系统分析了机器学习选股模型中随机数的来源及其对模型表现的影响。通过对逻辑回归、XGBoost、随机森林和全连接神经网络四种算法在100组不同随机数种子下测试,发现逻辑回归表现最稳定,神经网络最不稳定,而XGBoost和随机森林介于两者之间。图表15、16清晰显示不同模型在准确率和AUC上的分布差异,揭示了随机数对模型性能的实质影响,提示投资者应关注随机数种子带来的结果不确定性并进行多种种子检验,,
作者: 林晓明、陈烨
发布机构: 华泰证券研究所
发布日期: 2019年4月29日
主题: 机器学习选股模型中随机性的影响机制及表现分析
本报告隶属于华泰证券金工系列研究,聚焦于机器学习选股模型中的随机性问题,重点研究机器学习算法中随机数的引入、影响及对应的模型表现差异,属于深度技术性研究报告。报告通过分析逻辑回归、XGBoost、随机森林和全连接神经网络四种模型在100组不同随机数种子条件下的表现,旨在帮助投资者认识机器学习选股模型中的“必然”结果背后隐藏的“偶然”因素。核心信息为:
报告开篇提出“必然中的偶然”视角:看似确定的机器学习算法结果,实际上受多种随机性影响,如数据划分、权重初始化等,导致同一算法复现同一任务时结果可能不同。随机数保证了训练多样性和模型泛化,但也带来结果不确定性。为消减投资者对“偶然”的疑虑,报告提出系统分析随机数如何渗透机器学习模型的训练环节,以及不同模型对随机数敏感度的区别。此章节明确了研究目的与核心疑问,奠定基础。
本章细致梳理随机数在机器学习中的关键作用环节,包括:
报告深入解释了每个环节引入随机数的数学和机制原理,并通过图表(如图表1、图表5及图表7)直观展示这一过程,使读者理解随机数的正面作用及不可避免性。
报告简述计算机生成伪随机数的原理,强调每一固定随机数种子会产生确定的随机序列,保证训练结果的可复现性。通过介绍Python各主流包(sklearn, xgboost, keras)设置随机数种子的方法,提升模型结果复现的可操作性,如图表8和图表9所示代码示例,帮助实践中固定随机数种子管理实验一致性。
报告将机器学习模型随机性划分为四类:
本文聚焦第四点,通过遍历100组随机数种子点,直接量化算法随机数对模型的影响,采用Bootstrap重采样为工具,形成严谨的实证研究设计。
详细介绍四种典型模型(逻辑回归Logit、XGBoost、随机森林RandomForest、全连接神经网络ANN)的实验设计,包括数据预处理(中位数去极值、缺失值填充、行业、市值中性化及标准化)、年度滚动训练与时间切分、交叉验证及调参策略(神经网络无调参固定网络结构)、样本内训练与样本外测试、多指标模型评价指标,确保实验流程科学、规范。
总结机器学习中随机数的作用与影响,以及各模型对随机数的不敏感/敏感特性。逻辑回归由于凸优化目标,随机性影响极小;基于集成的树模型(XGBoost/随机森林)虽复杂但集成减小随机影响;深度神经网络因结构复杂多随机机制影响显著,但随机表现的波动不应令其价值受损信,关键是采用多种随机种子综合评估。报告强调随机数带来的“必然中的偶然”,投资者须警惕单一随机种子可能带来的误导,合理采集和理解随机性才是有效运用机器学习选股的关键。最后风险提示强调市场环境变化可能导致模型失效,及机器学习的过拟合风险。
图表1 展示机器学习中各种环节利用随机数的具体机制及对应模型,呈现数据划分、优化算法、集成模型及神经网络中的随机性环节,明确随机数作用范围。
图表2-4 通过损失函数形态、梯度下降与随机梯度下降算法示意,详细阐述引入随机梯度下降的原因和机制,保证优化效率和跳出局部极值的能力,数学逻辑通俗易懂。
图表5-6 直观呈现Bootstrap重采样背后的随机样本生成过程及Bagging并行集成学习的原理,强调引入随机采样产生互异基模型以增强泛化。
图表7 以神经网络Dropout示意图形象展现随机丢弃部分神经元防止过拟合的机理,是神经网络泛化能力提升的重要手段。
图表8-9 呈现Python机器学习包中随机数种子设置方法及keras实现细节,指导使用者如何保证结果的可复现性,体现报告务实的技术价值。
图表10 梳理机器学习选股模型随机性的主要来源及考察方法结构框架,清晰规划本研究重点—算法随机数种子。
图表11-12 显示机器学习选股模型的完整测试流程和年度滚动训练设计,保证研究时间序列的合理性及模型评估的完整性。
图表13-14 列出70个应用因子及模型超参数,使研究背后的数据支撑和算法设置透明化。
图表15-18 展现不同模型100组随机数种子下性能指标的分布,逻辑回归表现稳定,ANN分布最宽,XGBoost和随机森林居中,体现不同模型复杂度和随机敏感度。
图表19-22 报告了多种统计量(t值、因子收益率、Rank IC)在不同种子下的分布,逻辑回归集中高位,神经网络表现不稳定,XGBoost和随机森林表现较好。
图表23-26 以累积Rank IC及偏差展示模型随时间的表现和随机性影响,逻辑回归显示最稳定,神经网络随机性导致波动最大。
图表27-30 呈现策略回测中多空组合和TOP组合的年化收益率及夏普比率分布,进一步佐证前述结论,说明不同随机数种子导致策略表现波动差异。
图表31-38 描绘四模型100组随机结果下多空净值曲线及±标准差区间,最直观展示随机性带来的策略盈利波动空间,神经网络的最大差异尤为显著。
图表39 综合比较四类随机性来源对XGBoost模型多指标表现的均值、标准差和变异系数,回测时间影响最大,算法随机数影响较小但非无关,凸显模型研究与实战应关注多种随机性因素。
以上图表充分支持文本核心结论,展示了随机数对机器学习模型表现的实证差异及其在策略层面的具体体现。
本报告主要聚焦机器学习模型性能评估与随机性影响分析,未涉及传统金融估值方法如DCF或市盈率等内容,因而无估值分析部分。
报告明确指出机器学习选股模型主要风险为:
报告虽然未详细讨论风险缓解策略,但通过提示投资者综合考虑多个随机数种子结果,即提供了基本的缓解随机数影响不确定性的指导。
本报告通过系统分析机器学习选股模型中的随机数机制,实证展示了随机数种子对模型训练和策略表现的影响,深刻体现“必然中的偶然”这一哲学观察:
总体而言,本报告不仅为投资界提供了机器学习选股流程中随机性风险的全面识别和量化分析,也为研究者和实务者提供了控制随机性与提高模型稳定性的参考路径。结合丰富的图表数据与实证结果,使得报告内容深入且兼具操作指导价值,体现了华泰证券金工研究的高水平学术深度与应用广度。
图表2:二元损失函数示意图
图表5:Bootstrap重采样示意图
图表7:Dropout方法示意图
图表15:2011~2018年四种模型样本外平均正确率分布
图表23:2011~2018年逻辑回归模型累积Rank IC及波动情况
图表39:XGBoost模型四种随机性来源比较
| 回测指标 | 随机性来源 | 均值 | t均值 | 因子收益率 均值 | Rank IC 均值 | 多空组合 年化收益率 | 多空组合 夏普比率 | Top组合 年化收益率 | Top组合 夏普比率 |
| 真实值 | 5.71 | 5.39 | 1.17% | 13.96% | 37.98% | 5.54 | 17.83% | 0.66 | |
| 均值 | 样本内数据 | 5.62 | 5.29 | 1.13% | 13.75% | 36.94% | 5.42 | 17.26% | 0.64 |
| 样本外数据 | 5.79 | 5.39 | 1.17% | 13.88% | 37.61% | 5.16 | 15.85% | 0.58 | |
| 回测时间 | 5.64 | 5.32 | 1.16% | 13.96% | 37.94% | 5.57 | 21.23% | 3.13 | |
| 随机数种子 | 5.71 | 5.38 | 1.17% | 13.93% | 37.71% | 5.50 | 17.12% | 0.63 | |
| 标准差 | 样本内数据 | 0.06 | 0.07 | 0.02% | 0.08% | 0.58% | 0.13 | 0.36% | 0.01 |
| 样本外数据 | 0.13 | 0.12 | 0.03% | 0.18% | 1.12% | 0.18 | 0.63% | 0.02 | |
| 回测时间 | 0.36 | 0.41 | 0.10% | 0.81% | 3.20% | 0.48 | 13.45% | 1.99 | |
| 随机数种子 | 0.02 | 0.02 | 0.01% | 0.03% | 0.32% | 0.05 | 0.21% | 0.01 | |
| 变异系数 | 样本内数据 | 1.08% | 1.28% | 1.72% | 0.62% | 1.58% | 2.46% | 2.09% | 2.16% |
| (标准差/均值)样本外数据 | 2.18% | 2.26% | 2.42% | 1.27% | 2.98% | 3.45% | 3.96% | 4.03% | |
| 回测时间 | 6.46% | 7.68% | 8.99% | 5.84% | 8.45% | 8.66% | 63.34% | 63.52% | |
| 随机数种子 | 0.37% | 0.42% | 0.47% | 0.20% | 0.85% | 0.95% | 1.25% | 1.25% | |
【华泰金工】人工智能20:必然中的偶然:机器学习中的随机数20190429.pdf