python-for-data-analysis_2nd 第七章数据清洗和准备

最新推荐文章于 2021-03-08 15:24:17 发布

原创

最新推荐文章于 2021-03-08 15:24:17 发布 · 413 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #python #数据分析 #大数据

本章聚焦数据清洗和准备，涵盖处理缺失数据、移除重复数据、字符串操作等。介绍如何使用Pandas的fillna、dropna、replace等方法进行数据转换，强调了在数据分析中处理缺失值和异常值的重要性，以及正则表达式和字符串函数在文本处理中的应用。

文章目录

第七章数据清洗和准备

第七章数据清洗和准备

在数据分析和建模的过程，相当多的时间要⽤在数据准备上：加载、清理、转换以及重塑（load, clean up, transform, and reshape）。许多研究者都选择使⽤通⽤编程语⾔（如Python、Perl、R或Java）或UNIX⽂本处理⼯具（如sed或awk）对数据格式进⾏专⻔处理。但是pandas和内置的python标准库提供了一组高级的、灵活的、快速的工具，pandas中许多设计和实现都是由真实应用的需求所驱动的，通俗的讲就是pandas在应用于处理数据是非常有效的。

本章的重点：处理缺失数据、重复数据、字符串操作和其它分析数据转换的⼯具

7.1处理缺失数据

1.常用方法

方法	说明
dropna	去除表中缺失行或列
fillna	指定值填充
isnull	返回不为NA值的布尔值对象
notnull	isnull的否定

string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data
string_data.isnull()
string_data.fillna(12)
#下面两者的区别是一样的
string_data.dropna()
string_data[string_data.notnull()]

可以通过pandas.isnull或布尔索引的⼿⼯⽅法，但dropna可能会更实⽤⼀些。

2.滤除缺失数据（Filling In Missing Data）

df = pd.DataFrame(np.random.randn(7, 3))
df.iloc[:4, 1] = NA
df.iloc[:2, 2] = NA
df.iloc[:3,0]=NA
df
df.dropna()
#thresh这个作用不大
df.dropna(thresh=2)

3.填充缺失数据（Filling In Missing Data）

不想滤除缺失数据（有可能会丢弃跟它有关的其他数据），⽽是希望通过其他⽅式填补那些“空洞”。

fillna（）

df = pd.DataFrame(np.random.randn(6, 3))
df.iloc[2:, 1] = NA
df.iloc[4:, 2] = NA
df
#字典填充
df.fillna({
   
   1: 0.5, 2: 0})
#前向填充
df.fillna(method='ffill')
df.fillna(method='ffill', limit=2)	
#平均数填充
df.fillna(df.mean())

常用的参数：value、method、axis、inplace、limit

7.2 数据转换（Data Transformation）

1.移除重复数据（Removing Duplicates）

duplicated() 、drop_duplicates()

data = pd.DataFrame({
   
   'k1': ['one', 'two'] * 3 + ['two'],
                     'k2': [1, 1, 2, 3, 3, 4, 4]})
data
#返回bool值，重复为True；不重复为False
data.duplicated()
#在添一列
data['v1'] = range(7)
#去除重复列
data.drop_duplicates(['k1', 'k2'], keep='last')

2.利⽤函数或映射进⾏数据转换(Transforming Data Using a Function or Mapping)

map()

data = pd.DataFrame({
   
   'food': ['bacon', 'pulled pork', 'bacon',
                              'Pastrami', 'corned beef', 'Bacon',
                              'pastrami', 'honey ham', 'nova lox'],
                     'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})
meat_to_animal =