pandas学习

最新推荐文章于 2024-03-21 22:12:28 发布

原创最新推荐文章于 2024-03-21 22:12:28 发布 · 442 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据分析 #数据挖掘

Datawhale学习专栏收录该内容

17 篇文章

订阅专栏

本文介绍了Pandas的基础知识，包括查看版本、文件读写（csv、txt、xls/xlsx）、基本数据结构Series和DataFrame的使用，如创建、属性访问、数据类型查看、列的添加与删除。还涵盖了常用函数如head/tail、unique/nunique、count/value_counts、describe/info等，并讨论了排序、应用问题及练习解答，帮助读者掌握Pandas的基本操作。

pandas基础

1 查看pandas版本

pd.__version__

2 文件读取与写入

2.1 读取

在这里插入图片描述

csv格式

df = pd.read_csv('data/table.csv')
df.head()

txt格式

df_txt = pd.read_table('data/table.txt') #可设置sep分隔符参数
df_txt

xls或xlsx格式

#需要安装xlrd包
df_excel = pd.read_excel('data/table.xlsx')
df_excel.head()

2.2 写入

在这里插入图片描述

csv格式

df.to_csv('data/new_table.csv')
#df.to_csv('data/new_table.csv', index=False) #保存时除去行索引

xls或xlsx格式

#需要安装openpyxl
df.to_excel('data/new_table2.xlsx', sheet_name='Sheet1')

3 基本数据结构

在这里插入图片描述

3.1 Series

创建一个Series

对于一个Series，其中最常用的属性为值（values），索引（index），名字（name），类型（dtype）

s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')
s

在这里插入图片描述

访问Series属性

s.values

s.name

s.index

s.dtype

取出某一个元素

将在后面详细讨论索引的应用，这里先大致了解

s['a']

调用方法

s.mean()

Series有相当多的方法可以调用：

print([attr for attr in dir(s) if not attr.startswith('_')])

3.2 DataFrame

创建一个DataFrame

df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},
                 index=list('一二三四五'))
df

在这里插入图片描述

从DataFrame取出一列为Series

df['col1']

在这里插入图片描述

查看数据类型

type(df)
type(df['col1'])

修改行或列名

df.rename(index={'一':'one'},columns={'col1':'new_col1'})

在这里插入图片描述
-调用属性和方法

索引对齐特性
这是Pandas中非常强大的特性，不理解这一特性有时就会造成一些麻烦

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 #由于索引对齐，因此结果不是0

在这里插入图片描述

列的删除与添加

对于删除而言，可以使用drop函数或del或pop

df.drop(index='五',columns='col1') #设置inplace=True后会直接在原DataFrame中改动

在这里插入图片描述

df['col1']=[1,2,3,4,5]
del df['col1']
df

在这里插入图片描述
pop方法直接在原来的DataFrame上操作，且返回被删除的列，与python中的pop函数类似

df['col1']=[1,2,3,4,5]
df.pop('col1')

在这里插入图片描述
可以直接增加新的列，也可以使用assign方法

df1['B']=list('abc')
df1

在这里插入图片描述
但assign方法不会对原DataFrame做修改

df1.assign(C=pd.Series(list('def')))

在这里插入图片描述

根据类型选择列

df.select_dtypes(include=['number']).head()

在这里插入图片描述

df.select_dtypes(include=['float']).head()

在这里插入图片描述

将Series转换为DataFrame

s = df.mean()
s.name='to_DataFrame'
s

在这里插入图片描述

s.to_frame()

在这里插入图片描述

使用T符号可以转置

s.to_frame().T

在这里插入图片描述

4 常用基本函数

从下面开始，包括后面所有章节，我们都会用到这份虚拟的数据集

df = pd.read_csv('data/table.csv')

4.1 head和tail

显示前5行数据

df.head()

在这里插入图片描述
显示后5行数据

df.tail()

在这里插入图片描述
可以指定n参数显示多少行（默认是5行）

df.head(3)

unique和nunique
nunique显示有多少个唯一值

df['Physics'].nunique()

在这里插入图片描述
unique显示所有的唯一值

df['Physics'].unique()

在这里插入图片描述

count和value_counts
count返回非缺失值元素个数

df['Physics'].count()

在这里插入图片描述
value_counts返回每个元素有多少个

df['Physics'].value_counts()

在这里插入图片描述

describe和info
info函数返回有哪些列、有多少非缺失值、每列的类型

df.info()

在这里插入图片描述
describe默认统计数值型数据的各个统计量

df.describe()

在这里插入图片描述
可以自行选择分位数

df.describe(percentiles=[.05, .25, .75, .95])

在这里插入图片描述
对于非数值型也可以用describe函数

df['Physics'].describe()

在这里插入图片描述

idxmax和nlargest
idxmax函数返回最大值，在某些情况下特别适用，idxmin功能类似

df['Math'].idxmax()

在这里插入图片描述
nlargest函数返回前几个大的元素值，nsmallest功能类似

df['Math'].nlargest(3)

在这里插入图片描述

clip和replace
clip和replace是两类替换函数
clip是对超过或者低于某些值的数进行截断

df['Math'].head()

在这里插入图片描述

df['Math'].clip(33,80).head()

在这里插入图片描述

df['Math'].mad()

在这里插入图片描述
replace是对某些值进行替换

df['Address'].head()

在这里插入图片描述

df['Address'].replace(['street_1','street_2'],['one','two']).head()

在这里插入图片描述
通过字典，可以直接在表中修改

df.replace({'Address':{'street_1':'one','street_2':'two'}}).head()

在这里插入图片描述

apply函数
apply是一个自由度很高的函数，在第3章我们还要提到
对于Series，它可以迭代每一列的值操作

df['Math'].apply(lambda x:str(x)+'!').head() #可以使用lambda表达式，也可以使用函数

在这里插入图片描述
对于DataFrame，它可以迭代每一个列操作

df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head() #这是一个稍显复杂的例子，有利于理解apply的功能

在这里插入图片描述

5 排序

索引排序

df.set_index('Math').head() #set_index函数可以设置索引，将在下一章详细介绍

在这里插入图片描述

df.set_index('Math').sort_index().head() #可以设置ascending参数，默认为升序，True

在这里插入图片描述

值排序

df.sort_values(by='Class').head()

在这里插入图片描述
多个值排序，即先对第一层排，在第一层相同的情况下对第二层排序

df.sort_values(by=['Address','Height']).head()

在这里插入图片描述

6 问题

【问题一】 Series和DataFrame有哪些常见属性和方法？
答：Series

s = pd.Series(np.random.randn(4))
print(s.axes) # Series 的标签列表
print(s.empty) # 判断是不是空值
print(s.ndim) # 判断数据维度
print(s.size) # 判断元素个数
print(s.values) # 返回数据值
print(s.head(2)) # 小样品提取 开始2行 默认5
print(s.tail(2)) # 小样品提取 末尾2行 默认5
d = {‘Name’: pd.Series([‘Tom’, ‘James’, ‘Ricky’, ‘Vin’, ‘Steve’, ‘Minsu’, ‘Jack’]),
‘Age’: pd.Series([25, 26, 25, 23, 30, 29, 23]),
‘Rating’: pd.Series([4.23, 3.24, 3.98, 2.56, 3.20, 4.6, 3.8])}

答：DataFrame

df = pd.DataFrame(d)
print(df.T) # 行列装换
print(df.axes) # 行轴标签和列轴标签列表
print(df.dtypes) # 数据类型
print(df.shape)

【问题二】 value_counts会统计缺失值吗？
答： value_counts会返回元素有多少个，不会统计缺失值，但是可以算出来。统计缺失值最好使用df.isnull()函数
【问题三】与idxmax和nlargest功能相反的是哪两组函数？
答：idxmin()返回最小值，nsmallest返回前几个小的元素值
【问题四】在常用函数一节中，由于一些函数的功能比较简单，因此没有列入，现在将它们列在下面，请分别说明它们的用途并尝试使用。
sum/mean/median/mad/min/max/abs/std/var/quantile/cummax/cumsum/cumprod
答：求和，均值，中位数，中位数绝对偏差，最小值，最大值，绝对值，标准差，方差，分位数，返回包含累积最大值的相同大小的DataFrame或Series，累加返回给定axis上的累计和，累乘cumprod主要是用来看数据的变化趋势。
【问题五】 df.mean(axis=1)是什么意思？它与df.mean()的结果一样吗？第一问提到的函数也有axis参数吗？怎么使用？
答：使用0值表示沿着每一列或行标签\索引值向下执行方法
使用1值表示沿着每一行或者列标签模向执行对应的方法

7 练习

【练习一】现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：
（a）在所有的数据中，一共出现了多少人物？
答：
加载数据

df = pd.read_csv('data/Game_of_Thrones_Script.csv')
df.head()

在这里插入图片描述
nunique查看Name特征唯一值

df['Name'].nunique()

在这里插入图片描述

（b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？
答：value_counts()函数会统计元素个数并降序排列，所以取第一个元素即可

df['Name'].value_counts().index[0]

在这里插入图片描述

（c）以单词计数，谁说了最多的单词？

df_words = df.assign(Words=df['Sentence'].apply(lambda x:len(x.split()))).sort_values(by='Name')
df_words.head()

在这里插入图片描述

L_count = []
N_words = list(zip(df_words['Name'],df_words['Words']))
for i in N_words:
    if i == N_words[0]:
        L_count.append(i[1])
        last = i[0]
    else:
        L_count.append(L_count[-1]+i[1] if i[0]==last else i[1])
        last = i[0]
df_words['Count']=L_count
df_words['Name'][df_words['Count'].idxmax()]

在这里插入图片描述

【练习二】现有一份关于科比的投篮数据集，请解决如下问题：
（a）哪种action_type和combined_shot_type的组合是最多的？
答：
加载数据

df = pd.read_csv('data/Kobe_data.csv',index_col='shot_id')
df.head()

在这里插入图片描述

pd.Series(list(zip(df['action_type'],df['combined_shot_type']))).value_counts().index[0]

在这里插入图片描述

（b）在所有被记录的game_id中，遭遇到最多的opponent是一个支？

pd.Series(list(list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent'])))
                          .unique()).tolist()))[1])).value_counts().index[0]

在这里插入图片描述
注：上述代码详细解读：

#zip()将对象中对应的元素打包成一个个元组(将两列数据拼接在一起),产生一个zip对象
zip(df['game_id'],df['opponent'])

#转换为列表(每一列元素都是一个元组)
list(zip(df['game_id'],df['opponent']))

#想用unique()方法去重，但是list没有这个方法，只有Series和DataFrame可以用unique()方法，所以需要先转换成Series
pd.Series(list(zip(df['game_id'],df['opponent'])))

#去重，生成一个数组
pd.Series(list(zip(df['game_id'],df['opponent']))).unique()

#解包
list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent']))).unique()).tolist()))

#取第二个元组
list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent']))).unique()).tolist()))[1]

#转换为序列
list(list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent']))).unique()).tolist()))[1])

#再用.value_counts().index[0]找出最多的
pd.Series(list(list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent'])))
                          .unique()).tolist()))[1])).value_counts().index[0]