因子数据预处理-去极值和标准化

于 2024-04-02 21:51:45 发布
阅读量1.7k 收藏 27
点赞数 12
CC 4.0 BY-SA版权
分类专栏： # 量化交易-多因子数据挖掘 文章标签： 因子数据预处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cl2010abc/article/details/137218003
本文介绍了在金融数据分析中处理因子数据时的去极值方法，包括MAD法、σ法（3σ原则）和百分位法，以及标准化（如Z-score法）的重要性，以确保不同量纲和数量级的因子数据能有效比较和用于回归分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一. 去极值

因子数据中过大或过小的值会影响分析结果，特别是在回归时，离群值会严重影响因子和收益率之间的相关性估计结果。

因子去极值的处理方法：

  1. 确定上下限
  2. 将上下限外的数据修改为上下限值

常见的去极值方法有三种，分别是MAD法，3σ\sigmaσ法，百分位法

1. MAD法

处理步骤：

  1. 找出所有因子的中位数FmedianF_{median}Fmedian​
  2. 得到每个因子与中位数的绝对偏差值∣Fi−Fmedian∣|F_i - F_{median}|∣Fi​−Fmedian​∣
  3. 得到绝对偏差值的中位数MADMADMAD
  4. 确定阈值参数nnn，对超出范围[Fmedian−n∗MAD,Fmedian+n∗MAD][F_{median} - n * MAD, F_{median} + n * MAD][Fmedian​−n∗MAD,F
最低0.47元/天 解锁文章

200万优质内容无限畅学
量化交易 米筐 因子数据处理 -- 市值中性化
廷益_飞鸟的博客
10-13 2254
因子数据处理 – 市值中性化 1. 中性化意义 防止选到的股票集中在固定的某些股票当中 市值影响，默认大部分因子都包含了市值的影响，去除其它因子存在的市值影响。 去除市值影响 市值 <==> 某因子 去除相关性 回归法去除 建立回归方程： x(特征：市值) * w + b = y(某因子) 回归方程预测： 市值(X) * 系数(w) + 偏置(b) = 预测值( y_predict) 计算偏差： 某因子（y） - 预测值(y_predict) = 偏差 偏差：不受影
因子去极值和标准化_Barra_python_数据分析_12
forest_sz的博客
06-30 2409
#因子去极值及标准化 def normal(a): Func = lambda a:(a-a.mean())/a.std() norm = a.apply(Func) return norm def winsorize(a,limit=3): def func(a): a[a<a.mean()-a.std()*limit] = a.mean() - a.std()*limit a[a>a.mean()+a.std()*limit]
【量化交易】因子数据处理-标准化和市值中性化
黑马程序员官方博客
12-22 1476
所以当我们通过一些指标选择股票的时候，每个因子都会提供市值的因素，是的选择的股票比较集中，也就是选股的标准不太好。在调用fit_transform之后，数据的类型会变成array数组。不去修改原来的类型，我们可以简单的实现。我们结合之前的算法或者知识点，那个方法可以去除一个因子对另一个因子的影响？通过拟合找到x,y的关系公式，预测的时候会出现偏差？去完极值之后，我们再去进行标准化，是否会更加准确些？在每个时间截面上用所有股票的数据做横截面回归方程，
因子处理
J_sir2015的博客
09-14 458
主要应用：对于水平值的修改，整理 library(forcats) library(tibble) library(dplyr) library(magrittr) library(ggplot2) x1 &lt;- c("Jan","Apr","Mar","Dec") x2 &lt;- c("Dec","Apr","Jam","
量化交易 第十一课 因子数据处理之标准化
我是小白呀的博客
03-19 1万+
因子数据处理之标准化. 数据标准化主要是应对特征向量中数据很分散的情况, 防止小数据被大数据 (绝对值) 吞并的情况.
ecnu - 计软联谊 - 游族杯 - 所有因子预处理
Daioo 随笔
05-21 548
在计算机和软件专业的联谊会上，计算机和软件的同学相间着排成一列。现在要计算相邻两个同学的友谊度。 友谊度 friend(a,b)是这么计算的：令 a, b两个整数分别是两个同学的属性，两个同学的友谊度取决于a,b第k大的公约数。如果不存在，就说明这两个同学之间完全没有友谊，友谊度为 −1。 第一行是数据组数 T(1≤T≤60)。 对于每组数据： 第一行：首先是学生的数量n(1≤n≤10^5)，约定的常数k(1≤k≤1
【Python量化投资与A股量化研究 |StudyQuant】| 系列6 - 论因子数据预处理的重要性
StudyQuant量化投资学院
01-24 1946
Python量化投资与A股量化 -论数据预处理的重要性前言量化投资介绍前导多因子选股策略多因子模型理论背景单因子测试分层回溯法市盈率的用法PE因子分组回测PE单因子分组回测结果单因子分组回测（数据预处理后结果）单因子分组回测结果（数据预处理后结果）其他如何避开市盈率缺陷 前言 StudyQuant -【量化投资教学系列帖子】，通过实际案例教初学者使用python进行量化投资，分享最前沿的研究成果。...
《Python量化投资》02 单因子极值-标准化预处理
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
01-24 2860
一、因子计算的预处理 极值处理与标准化：去除极值，降低极值对于数据的影响 标准化：对不同数据进行同一处理的时候需要同一量纲。这样因子与因子就可以进行计算 极值处理:Triming和Winsorizing，一般因子如果极值是不对的原因造成，这样的因子就不能使用了，就Triming，去除这些不用的因子。Winsorizing：当数据中有因子的极值，这样的因子不是错误的，所以只要Winsorizing，对数据进行压缩一下。 中心化：类似于提纯，取出一个因子中不同因素的影响，对因子进行提纯。 行业中性：提出行业的区
量化数据预处理：去极值、标准化、中性化
漫步量化
08-28 1万+
对于量化研究而言，拿到一份基础数据，首先需要对数据做预处理，以便于更好的探究数据规律，基于不同目标有不同处理环节，其中去极值、标准化、中性化这三点经常被放在一起讨论。整理网络资料，理解如下。 去极值 数据（单个因子的时间序列数据）中存在异常值，可能会导致拉大标准差、拉偏统计规律… 常规处理理念就是确定此数据指标（比如某个因子）的上下限阈值，然后超过（或低于）此限度的数据均设置为阈值，以提高数据...
python行业中性_第十期：去极值、标准化、中性化，数据预处理三步走
weixin_39621488的博客
11-29 1999
摘要：量化研究就像烹饪美食，不同类型的数据好比各种食材，在入锅之前都需要洗菜、择菜，而对数据的洗择过程称之为数据预处理。根据不同类型的数据有不同的数据预处理方法，其中，针对因子研究，最常用的预处理方法就是：去极值、标准化和中心化。本期将分别对上述三种常用的因子预处理方法的含义进行介绍，并使用优矿数据预处理函数对市盈率因子进行预处理。一、去极值为啥要去极值？顾名思义，去极值就是排除一些极端值的干扰，...
第五章：量化研究专题（第五篇：数据处理专题：去极值、标准化、中性化 ）
热门推荐
无语僧
05-18 2万+
导语：一般的数据预处理中常提及到三类处理：去极值、标准化、中性化。我们将向大家讲述这常见的 三种数据处理操作。 一、去极值 　　在分析上市公司当季净利润同比增长率数据时，我们往往会被其中一些公司的数据干扰，如图中江 西长运，2017 三季度净利润同比增长率高达32836.04% ！而实际上大部分公司的当季净利润同比增长 率的数值都远远达到这个值的百分之一。那么数据去极值操作就显得尤为关键，可以剔除...
用因子分析预处理,因子分析应用,Python
09-10
因子分析进行数据预处理，进行因子分析介绍
数据挖掘学习之路四：Python去极值方法
12-23
1. MAD #MAD（mean absolute deviation）又称为绝对值差中位数法，是一种先需计算所有因子与平均值之间的距离总和来检测离群值的方法. #处理的逻辑： #第一步，找出所有因子的中位数 Xmedian #第二步：得到每个因子与中位数的绝对偏差值 Xi?Xmedian #第三步：得到绝对偏差值的中位数 MAD #第四步：确定参数 n，从而确定合理的范围为 [Xmedian?nMAD,Xmedian+nMAD]，并针对超出合理范围的因子值做如下的调整 #超出最大值的用最大值代替，小于最小值的用最小值代替。 def filter_extreme_MAD(series,n):
pandas_因子标准化(例子)
m0_37967652的博客
02-12 1716
题目： 1. 将因子数据做标准化处理 2. 以2021-01-04的PE数据作为例子数据 概念： 因子标准化：将因子数据按某种标准把数据转化成某个范围内 注：一般要将因子数据去极值后再进行标准化处理 import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler df_pe_20210104 = pd.read_csv('./pe_20210104.csv',encoding='ut
因子分析1——python因子的异常值处理、标准化、市值/行业中性化
呆萌的代Ma
02-01 1676
市值大的是真的大，小的是真的小，如果我们不对市值做处理，就没有办法对因子做“提纯”，奇怪的数据会得到奇怪的模型。为了解决杂质的影响，我们通过“市值中性化”这种方法，剔除市值的影响。原始数据的分布在使用一些拟合的方法时，异常值（超大、超小）对结果的影响是毁灭性的，因此我们对异常值做处理，但是金融数据大多数都不是错误的数据，而是确实存在但难以处理的数据。基于截面数据的建模并不是说：当前截面的情况对应了未来就会如何如何，而是后验的去描述，未来表现如何如何时，历史上的截面数据大概有什么样子的表现。
因子分析——离群值处理、中性化、标准化
qq_49635902的博客
03-25 1143
本文主要研究对PE因子的离群值处理、中性化和标准化，以HS300成分股2024年3月24日的数据为例，数据来源于akshare数据库，本文代码可在python3环境下复现。
2. 量化多因子数据清洗——去极值、标准化、正交化、中性化
HaileeRPIJNU的博客
06-02 3970
量化多因子数据清洗
极差标准化方法&因子分析综合得分
yugao1986的专栏
04-22 1万+
1.极差标准化方法 经济统计分析中对正负指标标准化的一种处理方法： sas计算： proc sql; create table new as select (x-min(x))/(max(x)-min(x)) as z_x, (max(x)-x)/(max(x)-min(x)) as f_x from mydata; quit;
多因子模型之因子（信号）测试平台----因子值的处理（二）
lyx的专栏
08-26 5121
广告：本人的单因子测试视频教程https://edu.youkuaiyun.com/course/detail/25572 我们知道，一个因子值的处理大致分为三个步骤，去极值、标准化、中性化，上次我们对因子值进行了去极值和标准化，这一次，我们主要讲一讲中性化，也就是neut。 neut分为行业中性和风格中性两种。行业中性很好理解，我们知道，一个因子在不同的行业间不一定有可比性...
数据预处理matalab
最新发布
07-09
在MATLAB中，数据预处理是一个关键步骤，它涉及清洗、转换和整理原始数据以便于后续分析和建模。以下是一些常见的数据预处理任务： 1. **清洗**：去除缺失值（NaNs），处理异常值，如极值或离群点，检查并纠正数据一致性错误。 2. **标准化或归一化**：将数值型特征缩放到特定范围，比如0到1之间（归一化）或均值为0，标准差为1（Z-score标准化）。 3. **编码分类变量**：对非数字的类别数据进行编码，例如One-Hot编码（独热编码）或Label Encoding。 4. **降维**：通过主成分分析（PCA）或因子分析减少高维度数据的复杂度，保留最重要的信息。 5. **分割数据**：通常将数据划分为训练集、验证集和测试集，便于模型训练和性能评估。 6. **特征选择**：基于相关性、重要性或机器学习算法的表现来选择最相关的特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值