微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis

3σ剔除异常值进行数据清洗

pd.set_option('display.max_columns', None)data # 显示就可以了

1 隐藏索引data.style.hide_index()2 隐藏某些列数据data.style.hide_columns('月份')

我们有时groupby([‘A’,‘B’]) 然后想按’A’一大类里面进行不同’B’的count列(或其他内容)进行倒排序或排序,这时应该怎么做呢?dianpu_3.groupby('店铺类型').apply(lambda x:x.sort_values('月份',ascending=False))#.reset_index()...

文章目录第5章实训实训1 插补用户用电量缺失值实训 2 合并线损,用电量趋势与线路告警数据实训3 标准化建模专家样本数据第5章实训实训1 插补用户用电量缺失值# 拉格朗日插值from scipy.interpolate import lagrangeimport pandas as pdimport numpy as npdata = pd.read_csv('../data/missing_data.csv')# 查看一下数据data.info()<class 'pandas.

文章目录5.4 转换数据5.4.1 哑变量处理类别型数据代码 5-30 哑变量处理示例get_dummies函数5.4.2 离散化连续型数据代码 5-31 等宽法离散化示例代码 5-32 等频法离散化示例代码 5-33 基于聚类分析的离散化代码 5-34 菜品dishes_name哑变量处理代码 5-35 菜品售价等频法离散化小结5.4 转换数据5.4.1 哑变量处理类别型数据代码 5-30 哑变量处理示例数据分析模型中有相当一部分的算法模型都要求输入的特征为数值型，但实际数据中特征的类型不一定只有

文章目录5.3 标准化数据5.3.1 离差标准化数据5.3.2 标准差标准化数据代码 5-27 标准差标准化示例5.3.3 小数定标标准化数据代码 5-28 小数定标标准化示例5.3.4 任务实现代码 5-29 对订单详情表中的数值型数据做标准化5.3 标准化数据%%html<img src = './image/5-3-2.png',width=700,height=400><img src = ‘./image/5-3-2.png’,width=700,height=400&

文章目录任务 5.2 清洗数据5.2.1 检测与处理重复值5-9 利用list去重5-10 利用set的特性去重5-11 使用drop_duplicates方法对菜品名称去重5-12 使用drop_duplicates方法对多列去重5-13 求出counts和amounts两列数据的kendall法相似度矩阵5-14 求出dishes_name,counts和amounts这3个特征的pearson法相似度矩阵5-15 使用DataFrame.equals方法去重5-16 通过遍历的方式进行数据筛选5.2.

文章目录使用pandas进行数据预处理任务5.1 合并数据代码5-1 索引完全相同时的横向堆叠5-2 表名完全相同时的concat纵向堆叠5-3 使用append方法的参数及其说明5.1.2 主键合并数据5-4 使用merge函数合并数据表5-5 使用join方法实现主键合并5.1.3 重叠合并数据5-6 重叠合并5-7 将多张菜品订单详情表纵向合并1.堆叠不同时间的订单详情表5-8 订单详情表,订单信息表,客户信息表主键合并使用pandas进行数据预处理任务5.1 合并数据import numpy