不受异常值（outlier）影响的线性回归（linear regression）方案

最新推荐文章于 2023-08-07 19:12:23 发布

原创

最新推荐文章于 2023-08-07 19:12:23 发布 · 3.4k 阅读

7 ·

CC 4.0 BY-SA版权

在高频数据分析项目中，由于数据波动大，容易出现异常值。本文探讨了几种不受异常值影响的线性回归方案，包括R/python的Least Absolute Deviation (LAD)、matlab的Robust Regression、python statsmodels的RLM、sklearn的RANSAC和Theil-Sen以及Huber Regression。这些方法通过不同策略如权重调整、中位数估计和迭代重加权来确保模型稳健性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近做了一个高频数据分析的项目，因为高频的数据波动性很大，经常出现坏点，遂思考如何对这样的坏点做linear regression而不用担心ols estimation太过sensitive的难题。

以下是几个解决方案：

R/python Least Absolute Deviation(LAD)

即最小化与模型diff的绝对值而不是squares。
奇葩的是，这个模型竟然在比较大的包里python的任何实现，目前只有R有：
rqPen 和 hqreg 这两个包可以做quantile regression，选择median regression或者50% percentile的quantile regression即可。

目前python只有这个小包，内部实现使用的是tensorflow
https://mirca.github.io/lad/

matlab Robust Regression

mdl = fitlm(X,y); % not robust
mdlr = fitlm(X,y,'RobustOpts','on');

算法：Robust regression works by assigning a weight to each data point. Weighting is done automatically and iteratively using a process called iteratively reweighted least squares. In the first iteration, each point is assigned equal weight and model coefficients are estima