pandas数据预处理------去除‘特征重复’的2种方法

常见的数据重复包括：

1.记录重复--一个或多个特征的某条记录的值完全相同

2.特征重复--存在一个或者多个特征名称不同，但数据完全相同的情况

去除特征重复的2种方法

1.通过相似度矩阵去重

    要去除连续的特征重复，可以利用特征间的相似度将两个相似度为1的特征去除一个。在pandas中，相似度的计算方法为corr。使用该方法计算相似度时，默认为pearson方法，可以改为spearman法和kendall法。

   通过相似度矩阵去重存在一个弊端，该方法只能对数值型重复特征去除，类别型特征之间无法通过计算相似系数来衡量相似度。

2.通过DataFrame.equals方法进行特征去重

  可以通过DataFrame.equals方法去重

# coding: utf-8

# 去除‘记录重复’的3种方法

# 法1---利用list去重

import pandas as pd

detail=pd.read_csv(r'D:\save\detail.csv',index_col=0,encoding='gbk')

# 去除‘特征重复’的2种方法


# 法1---通过相似度矩阵去重


# 求取售价和销量的相似度
corrDet=detail[['counts','amounts']].corr(method='kendall')
print('售价和销量的kendall法相似度矩阵为：\n',corrDet)


# 法2---通过DataFrame.equals方法进行特征去重

# 定义求取特征是否完全相同的矩阵的函数
def FeatureEquals(df):
    dfEquals=pd.DataFrame([],columns=df.columns,index=df.columns)
    for i in df.columns:
        for j in df.columns:
            dfEquals.loc[i,j]=df.loc[:,i].equals(df.loc[:,j])
    return dfEquals
detEquals=FeatureEquals(detail)
print('detail的特征相等矩阵的前5行5列为:\n',detEquals.iloc[:5,:5])

# 通过遍历的方式进行数据筛选


lenDet=detEquals.shape[0]


dupCol=[]


for k in range(lenDet):
    for l in range(k+1,lenDet):
        if detEquals.iloc[k,l]&         (detEquals.columns[l] not in dupCol):
            dupCol.append(detEquals.columns[l])


# 进行去重


print('需要删除的列为',dupCol)


detail.drop(dupCol,axis=1,inplace=True)


print('删除多余列后detail的特征数目为:',detail.shape[1])