数据异常值处理
导论
异常值问题在数据分析中经常遇到,本文介绍了多种处理数据异常值的方法。
在金融数据分析中,常常会遇到一些值过大或者过小的情况,当用这些值来构造其他特征的时候,可能使得其他的特征也是异常点,这将严重影响对金融数据的分析,或者是影响模型的训练。下面将带大家学习一些关于异常点处理的常用方法。
固定比例法
这种方法非常容易理解,我们把上下2%的值重新设置,若大于99%分位数的数值,则将其设置为99%分位数值,若低于1%分位数的数值,则将其重新设置为1%分位数值
均值标准差法
这种想法的思路来自于正态分布,假设
MAD法
MAD 法是针对均值标准差方法的改进,把均值和标准差替换成稳健统计量,样本均值用样本中位数代替,样本标准差用样本MAD(Median Absolute Deviation)代替:
BOXPLOT法
我们知道箱线图上也会注明异常值,假设Q1和Q3分别为数据从小到大排列的25%和75%分位数,记
https://i.bigquant.com/user/iquant/lab/share/数据异常值处理.ipynb?
本文由BigQuant宽客学院推出,版权归BigQuant所有,转载请注明出处。