基于SVM支持向量机模型的选股策略
更新
本文内容对应旧版平台与旧版资源,其内容不再适合最新版平台,请查看新版平台的使用说明
新版量化开发IDE(AIStudio):
https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW
新版模版策略:
https://bigquant.com/wiki/doc/demos-ecdRvuM1TU
新版数据平台:
https://bigquant.com/data/home
https://bigquant.com/wiki/doc/dai-PLSbc1SbZX
新版表达式算子:
https://bigquant.com/wiki/doc/dai-sql-Rceb2JQBdS
新版因子平台:
https://bigquant.com/wiki/doc/bigalpha-EOVmVtJMS5
导语
研究过集成学习中的 随机森林和XGBoost后,本文将介绍一种更传统的机器学习方法:SVM支持向量机。SVM由于其较高的准确度,并且能够解决非线性分类问题,曾一度成为非常流行的机器学习算法。本文分别介绍线性支持向量机和核支持向量机,探究SVM如何解决线性和非线性分类、回归问题,最后以一个实例展示SVM模型在选股方面的应用。
VM原理介绍
支持向量机(Support Vector Machine,SVM)可分为线性支持向量机和核支持向量机,前者针对线性分类问题,后者属于非线性分类器。支持向量回归也能够处理回归问题。
线性支持向量机
最大间隔分类
最大间隔分类是寻找最佳分类边界的核心原则。简单来讲,就是在所有可能的分类界面中,寻找使分类边缘最宽的界面。
图1:最大间隔分类示意图{w:100}
用数学语言表示,二维平面中的任意一条直线均可以表示为的形式,简记为𝒙^𝑇𝒘 + 𝑏 = 0,图2中的分类超平面(黑色直线)表示为𝒙^𝑇𝒘 + 𝑏 = 0,其上方的最大边缘超平面(红色直线)则相应表示为𝒙^𝑇𝒘 + 𝑏 − 1 = 0,即𝒙^𝑇𝒘 + 𝑏 = 1。类似地,下方的最大边缘超平面(黑色直线)表示为𝒙^𝑇𝒘 + 𝑏 = −1$。两个最大边缘超平面之间的间隔等于2/‖𝒘‖,其中‖𝒘‖为向量w的2范数,即各元素平方和的平方根。
{w:100}
{w:100}
{w:100}
{w:100}
松弛变量
上面讨论的只是理想情况,绝大多数时候,数据中会包含噪音,难以用一条直线将两类样本完美地区分开来。此时就需要引入松弛变量的概念。对每个样本点赋予一个松弛变量的值:如果该点落在最大边缘超平面正确的一侧,则松弛变量𝜉 = 0;否则,松弛变量的值等于该点到最大边缘超平面的距离。
图3:松弛变量示意图{w:100}
此时线性支持向量机的目标函数改写为:
{w:100}
{w:100}
{w:100}
图4:惩罚系数示意图{w:100}
支持向量回归
在分类问题的损失函数之上稍加改动,就能得到用于回归问题的支持向量回归(Support Vector Regression),其损失函数为:
{w:100}
{w:100}
核支持向量机
非线性分类
线性支持向量机能够处理线性分类问题,然而对于非线性分类问题,我们需要寻找新的解决途径——增加维度。
{w:100}
核支持向量机同理:非线性分类转化为线性分类。首先通过非线性映射𝜙把原始数据𝑥变换到高维特征空间,随后使用线性支持向量机对高维空间下的数据进行分类,从而解决非线性分类问题:
{w:100}
核函数
核函数是为了减少映射到高维空间后的计算量而设计的一个内积函数:
{w:100}
{w:100}
图6:常用核函数{w:100}
SVM关键问题
核函数的选取
在选核函数之前,我们首先要确定数据集是否线性可分。低维数据可以直接画图辨认,高维数据可以检查凸包(convex hull)是否相交,不相交,则线性可分。
确定线性不可分之后,需要采用核支持向量机模型,这就涉及了核函数选取问题:
{w:100}
图7:不同核函数的分类表现{w:100}
C和γ 的调整
惩罚系数C和γ是影响支持向量分类器性能的关键参数。实际应用中,当数据量较小的候,可以采用“网格搜索”对C和γ进行遍历,选择全局最优参数。但是“网格搜索”计算量很大,一般难以进行,所以我们主要还是根据C和γ的影响进行判断。
C和γ越大,惩罚越多,分类器对于错误的容忍程度低;同时经过映射后的样本在高维空间的分布越稀疏,更容易被区分。这都会导致训练集的正确率更高,但是也可能带来“过拟合”问题,使得偏差bias减小但variance方差增大。具体参数选择需要多尝试。
模型评价
可参见 随机森林专题研究
实例:SVM模型选股
图8:SVM智能选股策略{w:100}
获取数据 :A股所有股票。
特征和标签提取 :计算18个因子作为样本特征;计算未来5日的个股收益,收益率前95%的标注为1,其余标注为0。
特征预处理 :进行缺失值处理;去掉特征异常的股票,比如某个特征值高于99.5%或低于0.5%的;标准化处理,去除特征量纲/数量级差异的影响。
模型训练与预测 :使用SVM模型进行训练和预测;尝试多种核函数。
策略回测 :利用2015到2016年数据进行训练,预测2016到2017年的股票表现。每周等权重买入预测值为1的50只股票(深市优先),至少持有五日,同时淘汰预测值为0的股票。
模型评价 :查看模型回测结果;对比不同核函数的策略结果。
不同核函数的回测效果如下: 【线性核】
图9:线性核SVM选股{w:100}
图10:多项式核SVM选股{w:100}
图11:RBF核SVM选股{w:100}
图12:Sigmoid核SVM选股{w:100}
整体来讲,此策略还有很大的改进空间,如改变因子选取、股票标注方式、策略逻辑、SVM参数等,大家可以进一步探索。
https://bigquant.com/experimentshare/f216e13e2f514b9b8b95843bedf1296d
参考文献
华泰证券 《人工智能选股之支持向量机模型》2017-08-04