“拾穗”多因子系列报告(第5期):数据异常值处理,比较与实践-20190317-财通证券-23页_2mb
报告摘要
数据异常值处理:比较与实践
核心内容概述
本报告为“拾穗”多因子系列报告的第五期,主要围绕数据异常值的识别与处理展开讨论,旨在帮助投资者更好地理解异常值对多因子模型的影响,并提供有效的处理方法。报告还结合市场风格解析和指数风险预测,为投资决策提供参考。
主要观点与关键信息
1. 数据异常值处理的必要性
- 异常值对回归分析和因子相关性分析有较大影响,可能导致回归系数和相关系数失真。
- 财务数据(尤其是增长率类)比价量因子更容易出现异常值。
- 通过实证检验,中位数去极值法和箱形图法被证明为更为稳健的处理方法。
- 分位数回归方法在处理异常值方面表现更优,能够全面描述被解释变量的条件分布。
2. 常用异常值处理方法比较
以下为7种常用异常值处理方法的介绍及其优缺点:
| 方法 | 优点 | 缺点 |
|---|---|---|
| 均值标准差修正法(3σ法) | 逻辑清晰,识别异常值能力强 | 标准差易受极端值影响,适用性受限于正态分布 |
| 固定比率修正法(百分位法) | 处理简单,适用于两端异常值对称的情况 | 比例选择主观,误差较大 |
| 中位数去极值法(MAD方法) | 更加稳健,不受极端值影响 | 处理后可能产生数据堆叠 |
| Beat G.Briner 方法 | 保留原始数据排序,限制在[-3.5,3.5] | 假设数据服从正态分布,标准化受异常值影响 |
| 因子排序值标准化法 | 处理简便,适用于相关性分析 | 忽略数据本身数值,丢失信息 |
| 箱形图法 | 利用四分位数确定上下界,忽略极端值影响 | 与MAD方法类似,处理后可能产生数据堆叠 |
| 无量纲处理方法 | 数据限制在[0,1],保留原始排序 | 对称异常值识别效果差,可能出现断层现象 |
3. 不同数据类型的处理效果
- 财务类因子(如净利润增长率、资产负债率):中位数去极值法和箱形图法效果最佳。
- 价量类因子(如市值):各方法效果相近,异常值较少。
- 实证结果:对净利润增长率因子,中位数去极值法和箱形图法使相关系数显著提高。
4. 市场风格解析
- 上周市场风格不明确,高Beta、高波动股票表现较好,而大规模、前期涨幅高的股票出现回撤。
- 表现最好的三只指数包括380价值指数和中证800成长指数等,而表现最差的指数包括创业板指数和超大盘指数等。
- 行业方面,电力设备和房地产行业涨幅较大,而计算机和通信行业跌幅较大。
5. 指数风险预测
- 财通金工样本指数未来一个月的年化波动区间在21% - 31%之间,相较上周略有上升。
- 中小板股票和成长类指数风险较高,而大盘股和价值类指数风险较低。
- 风险预测基于多因子模型,对共同风险和特质风险进行估计,结合成分股权重计算波动情况。
6. 指数成分收益归因
- 表现较好的指数在因子暴露度上呈现不同的风格特征,如高Beta、中小盘、成长等。
- 表现较差的指数则更倾向于大盘、价值等因子。
- 通过因子暴露度分析,可以识别不同指数在市场风格中的位置。
结论
- 异常值处理是构建多因子模型的重要步骤,对模型结果有显著影响。
- 对于财务类数据,中位数去极值法和箱形图法更为稳健。
- 分位数回归方法在处理异常值方面具有优势,适用于非正态分布数据。
- 市场风格和风险预测为投资者提供了重要的参考,但需注意历史数据不能完全代表未来。
- 本系列报告致力于从量化角度分析市场风格,为投资者提供实用的研究工具。
图表与数据说明
- 图1:单季度净利润同比增长率VS单季度营业收入同比增长率
- 图2:异常值处理的主要方法介绍
- 图3:箱形图处理方法示意图
- 图4:单季度净利润同比增长率散点图
- 图5:单季度净利润同比增长率因子异常值处理后对比图
- 图6:资产负债率因子散点图
- 图7:资产负债率因子异常值处理后对比图
- 图8:对数市值因子散点图
- 图9:对数市值因子异常值处理后对比图
- 图10:分位数回归与OLS回归结果对比
- 图11:上周主要指数收益(2019.3.8-2019.3.15)
- 图12:上周中信一级行业指数收益(2019.3.8-2019.3.15)
- 图13:近两周纯风格因子收益比较(2019.3.1-2019.3.15)
- 图14:最近一个月风格因子净值走势(2019.2.13-2019.3.15)
- 图15:最近一个月风格因子累计收益(2019.2.13-2019.3.15)
- 图16:财通金工样本指数未来一月波动预测(年化)(2019.3.15-2019.4.12)
- 图17:收益回归/风险预测样本股票占指数成分股比率
- 图18:上周表现最好三指数因子暴露度
- 图19:上周表现最差三指数因子暴露度
参考文献
- The Barra Europe Equity Model (EUE3), Beat G.Briner, Rachael C.Smith, Paul Ward. 2009.6
- Quantile Regression, Roger Koenker, Kevin F.Hallock. Journal of Economic Perspectives. 2001
- 《综合评价中异常值的识别及无量纲化处理方法》,李伟伟,易平涛,李玲玉,《运筹与管理》,2018.4
附录
- 附录一:财通金工指数池选取
- 附录二:财通金工风格因子定义及计算方法
注:本报告由财通证券研究所发布,分析师陶勤英,联系人张宇。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载