本报告聚焦机器学习技术在量化投资中的应用,重点探讨机器学习在波动率预测中的优势及其超越传统模型的预测性能,结合滚动信息系数(IC)评估方法分析策略失效判定。报告还详述机器学习对冲基金的架构及技术演进需求,并对计算力要求、交易系统衔接及机器学习与主观交易的差异进行了全面阐述,为量化投资提供实践指导。
报告标题:《机器学习与量化投资:避不开的那些事(4)》
作者及联系方式:杨勇(SAC执业证书编号S1450518010002)和周袤(SAC执业证书编号S1450517120007),安信证券研究中心分析师
发布日期:2018年4月16日
研究机构:安信证券股份有限公司研究中心
主题范畴:机器学习在量化投资中的应用,重点聚焦于波动率预测、机器学习策略失效的判断方法与量化投资落地的技术架构探讨。
核心论点与目标传达:
报告围绕机器学习技术在量化投资中的应用展开探讨,特别强调波动率预测对于量化策略仓位管理的重要性,指出机器学习相较传统方法可以提升波动率预测效果,并引入特定统计学指标(IC值和t检验)来量化判断机器学习策略的失效风险。此外,报告深入讨论了机器学习技术在量化投资中的实践挑战和机遇,如数据要求、计算力需求、交易系统协调、策略研究人员的角色定位,以及机器学习对冲基金的组织架构。本报告不设具体策略买卖建议,主要为行业技术及方法论提供深入分析。
报告首先指出从2016年中期开始,全球市场波动率尤其是中国市场波动率处于长期低位,且中国波指从63.79跌落至7.95,表现出低波动率的罕见阶段。通过图1的热点展示,可见波动率整体趋势走低。基于此,报告进一步统计了中证500指数(图2)和沪深300指数(图3)自2002年以来的年度波动率走势,两大指数均在2017年波动率降至近年最低水平,验证了市场进入低波动率区间的事实,强调了对波动率精准预测的战略意义。
这些方法形成了传统波动率预测的理论与应用基础。
报告提出利用监督式机器学习对日内波动率进行预测,预测对象定义为每日240根分钟线收盘价的标准差,预测标的为中证500指数。输入特征包括过去30天的移动平均、最大值、最小值等统计特征,考虑波动率聚集效应。
机器学习模型的预测效果体现在R2=37.13%,系统较简单的移动平均法(MA20,R2=34.42%)提升了约3个百分点,表明机器学习对未来日内波动率预测更准确。相关的预测与实际曲线(图4和图5)和残差分析(图6)进一步证明预测的有效性,预测误差在2015年股灾期间较大,但总体保持良好。移动平均方法的残差较大(图7),支持机器学习策略表现优越,3,4,5]。
机器学习策略对数据依赖极强,因此对市场结构变化极其敏感。报告阐述传统量化策略基于明确假设,研究人员可据此调整策略;而机器学习模型完全数据驱动,无明确先验假设,当数据分布改变时,模型输出结果可能出现系统性偏差且难以提前识别。
基于此,作者引入了基于滚动信息系数(IC)和t检验的失效检测方法,具体做法是:以过去n个交易日为窗口,计算预测值与实际值的相关系数r,并基于公式:
[ t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}} ]
检验该相关是否显著(以tn−2为临界值),若不显著,则提示模型可能失效。报告选取n=20,绘制了IC值的滚动统计图(图8),显示2016年7-8月IC检测出现显著负值,提示机器学习模型明显失效,与实际市场回撤相符,验证了该指标的有效性,6,7]。
介绍大数据框架Hadoop的服务器角色划分、分布式处理(Spark、MapReduce、HDFS)机制,以及Apache Spark相对于Hadoop的易用性和高效性。大数据解决方案尤其适用于处理超过市场行情交易数据规模的非结构化大数据(如舆情、图像、语音)应用场景。
分析当前AWS及阿里云主要服务器规格及价格,均在每小时几美元到数十美元不等(图11和图12),指出云计算成本对于对冲基金并非显著障碍,机器学习量化项目可利用云端资源,结合各类数据完成模型训练和预测。
提出机器学习模型与传统交易系统间可通过客户-服务器架构实现数据与信号通信分离,信号产生端与执行端可独立部署,网络延迟对常规CTA策略影响较小,技术实现层面存在可操作性方案,8,9]。
详述机器学习决策机制与人类主观交易的本质差异。人类决策依赖少量样本、模糊且稳定的认知,擅长抽象推理和非结构化信息整合(视觉、听觉、味觉),而机器学习需大样本数据训练,以梯度下降等数学算法为核心,缺乏灵活推理能力,且对非结构化数据整合有显著局限(第三方标注依赖、模式识别与信息融合的难题)。从而表明机器学习并非将完全取代主观交易员,而是各有优势。
报告总结如下:
通过展示Two Sigma的官方网站截图(图14、图15),报告介绍此类机器学习驱动的对冲基金强调技术驱动,注重开源社区贡献,区别于传统金融机构,表明未来量化基金文化及技术走向开放与协作,14]。
本报告侧重技术方法论与行业应用探讨,未涉及具体公司估值模型、财务预测、市盈率或现金流折现等估值相关内容。
报告明确指出:
报告未详细提出具体缓解措施或失效概率评估,提醒投资者保持谨慎,6,10,11]。
本报告全面详尽剖析了机器学习在量化投资领域中的关键应用,聚焦于日内波动率预测的技术实现与效果验证。通过对历史波动率长期走低的背景介绍,结合传统统计方法与机器学习模型的对比,报告证实机器学习能在波动率预测上取得一定性能提升。基于IC值及t检验的机器学习策略失效检测方法,为量化投资风险管理提供统计学工具,能够较早识别模型失效风险,具有较强实用价值。
在技术架构方面,明确了大数据框架(Hadoop、Spark)及云计算资源的应用,为量化投资的计算需求落地提供了切实可行的参考。报告还深入探讨机器学习与传统主观交易的不同逻辑,强调两者优劣互补,并指出量化基金从技术、算法、数据、组织文化多层面的挑战与机遇。最后以Two Sigma为例,展示了机器学习驱动对冲基金典范,强调开放、开源的企业文化对创新的重要性。
整体看来,报告既系统介绍了机器学习技术的应用细节,又结合市场实际风险警示,具有较高的战略指导和实操参考价值。所有关键论述均辅以详实图表数据支持,提供了深刻的行业洞察。
本报告所有数据均源自Wind数据平台及安信证券研究中心自主研究,相关图表已在正文中详细说明与引用。报告严格遵守证券投资咨询行业规范,详见最终页免责声明。
图1:中国波指历史波动率趋势
图2:中证500按日统计波动率分布
图3:沪深300按日统计波动率分布
图4:日内波动率预测曲线
图5:日内波动率实际曲线
图6:日内波动率实际与预测差值
图7:20日移动平均内波动率实际与预测差值
图8:滚动IC值
图9:Hadoop服务器角色图
图10:Apache Spark简介
图13:机器学习对冲基金分工
图14:Two Sigma技术介绍
图15:Two Sigma开源文化
(全文所有内容引用页码见相应段落末尾标注)
机器学习与量化投资:避不开的那些事(4).pdf