数据分析成长之路

import seaborn as snsfrom matplotlib import pyplot as pltdata_columns = ["column_name1",..., "column_namen"]for column in data_columns: g = sns.kdeplot(ori_data[column], color="Blue", shade = True) g.set_xlabel(column) g.set_yla

DF = DF.rename(columns={'column_old_name':'column_new_name'})

import pandas as pddf1 = pd.read_csv('path') # 读取第一个文件df2 = pd.read_csv('path') # 读取第二个文件outfile = pd.merge(df1, df2, left_on='column_name', right_on='column_name') # 文件合并，left_on=左侧DataFrame中的列；right_on=右侧DataFrame中的列...

# 两日期相减DF['day_diff'] = pd.to_datetime(DF['date1'])-pd.to_datetime(DF['date2'])# 对相减后的间隔天数day_diff列去除尾部的“days”，精度到日DF['day_diff'] = DF['day_diff'].map(lambda x: x/np.timedelta64(1,'D'))

# 加入日期的字符串格式DF['date_time'] = 'xxxx-xx-xx'# 将加入的日期的字符串格式化为时间格式DF['date_time']=DF['date_time'].astype('datetime64')

DF['content_len'] = DF['column_name'].str.len()DF

DF[DF['column_name'] == value]del_index = DF[DF['column_name'] == value].indexDF1 = DF.drop(del_index)DF1

DF['column_name'] = DF['column_name'].str.replace(r'[^\u4e00-\u9fa5]', '') # 对csv某列数据进行清洗，只保留中文

DF['column_name'] = DF['column_name'].str.replace(r'[^0-9]', '') # 对csv某列数据进行清洗，只保留数字

# 数据去重基本版# 查看重复情况print("数据重复值：", DF1.duplicated().sum())# 数据去重，并查看去重后的shapeDF2 = DF1.drop_duplicates()print("数据去重后的DF_shape：", DF2.shape)# 数据去重后原索引缺失，需重构索引【注意】DF2.index = range(DF2.shape[0])print("数据索引重构结果：", DF2.index) # 查看重构后索引是否完善遍历某个文件夹下的每个

# 改变DF某列数据的数据类型DF[['column_name']] = DF[['column_name']].astype(float) # astype内的不用加引号# 两个DF按行合并（上下拼接）new_DF = pd.concat([DF1,DF2],axis=0)

from sklearn.decomposition import PCApca = PCA(n_components=n) # 指定降维到n维pca.fit(X) # 进行降维print(pca.explained_variance_ratio_) # Percentage of variance explained by each of the selected component...

#let's look for any columns that contain only one unique value and remove themtotal_columns = DF1.columnsdrop_columns = []for col in total_columns: col_series = DF1[col].dropna().unique() # 特...

1. 定类数据各类别数查看及可视化# 前置库：pandas# 对标签列进行观察，查看已标注样本各类别对数量print(pd.value_counts(DataFrame['column'], sort=True))# 图形化展示from matplotlib import pyplot as pltpd.value_counts(DataFrame['target_column'])....

# 对数据进行log transformDF[['column1', 'column2',..., 'columnn']].apply(np.log)# 对数据偏态系数和峰态系数的测量DF[['column1', 'column2',..., 'columnn']].apply(np.log).apply(scipy.stats.skew)# .apply(scipy.stats.skew...

进行数据分析时可能需要单独抽出若干特征组合成新的子数据框# 子数据框函数def get_subgroup(dataframe, g_index, g_columns): """Helper function that creates a sub-table from the columns and runs a quick uniqueness test.""" ...

import pandas_profilingpandas_profiling.ProfileReport(DF)

# 对neighbourhood列进行观察data1['neighbourhood'].value_counts()# 发现neighbourhood列汉字拼音夹杂，应该清洗为统一格式# neighbourhood列清洗data1.loc[:, 'neighbourhood'] = [str(x)[0: 3] for x in data1.loc[:, 'neighbourhood']...

1. 对于特征较多的DF，进行数据预处理时需要对每个特征变量进行相关处理，为了避免混乱，可以DF.info()后将输出复制到sublime，然后在sublime中针对每个特征变量进行处理方式标注# 非python代码，只是为了展示在sublime中的效果action_type 30697 non-null object[get dummies]combined_shot_...

异常值的处理需要考虑业务情景，不同的业务情景对异常值的定义及处理方式不同初步利用数据描述的转置查看连续型数据的情况# 转置只是为了更加便于观看DataFrame.describe().T显示某个连续型特征标准分的绝对值是大于3的数据信息（一般认为是异常值）# create std_scorestd_score = (DataFrame['column_name'] - Data...

缺失值情况查看# 数据缺失值情况查看DataFrame.isnull().sum()# 对某个特征列具体缺失情况进行查看DataFrame[DataFrame['column_name'].isnull()]对某个特征的缺失值进行平均值填充DataFrame['column_name'].fillna(round(DataFrame['column_name'].mean()), ...

# 查看数据的基本情况print(DataFrame.shape)print("=" * 60)print(DataFrame.info())print("=" * 60)print(DataFrame.describe())print("=" * 60)print(DataFrame.columns)# 查看重复情况DataFrame.duplicated().sum()...

记录该模版就是为了方便调用，免得每次都要写代码# 划分特征与标签X = DataFrame.iloc[:, DataFrame.columns != 'target_name']Y = DataFrame.iloc[:, DataFrame.columns == 'target_name']# 划分训练集与测试集from sklearn.model_selection import ...

注意：生成哑变量时最好采用k类生成k-1个的方法，避免“哑变量陷阱”# 对于数据框中只含有一个需要哑变量转换的特征：DataFrame2 = pd.get_dummies(DataFrame1, drop_first=True)# drop_first = True 保证生成k-1个哑变量# 对于数据框中多个需要哑变量转化的特征：DataFrame2 = pd.get_dummie...

数据框中可能会有年、月、日各自单独呈一列的情况。对上述情况进行Datetime类型转化，便于数据可视化等# 处理时间数据import datetime# 分别得到年，月，日years = DataFrame['year']months = DataFrame['month']days = DataFrame['day']# datetime格式dates = [str(i...

【删除不需要的列】# 前置库：pandas# 删除不需要的列DataFrame.drop(columns=['column_name'], inplace=True)【对某列数据进行Z-score标准化】# 前置库：pandas# 对某列进行标准化from sklearn.preprocessing import StandardScalerDataFrame['column_n...