pandas学习打卡_task2 pandas基础

最新推荐文章于 2024-07-31 00:00:37 发布

原创最新推荐文章于 2024-07-31 00:00:37 发布 · 330 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据挖掘

Pandas 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了pandas库中文件的读取与写入，包括csv、excel和txt格式，详细讲解了read_csv等函数的常用参数。此外，文章还探讨了Series和DataFrame两种基本数据结构，以及数据框的属性和操作。接着，作者阐述了常见的基本函数，如汇总、统计、排序和apply方法。最后，提到了窗口对象的应用，并提供了两个练习案例。

学习目标：

一个月掌握 pandas 入门知识

学习目录：

一、文件的读取与写入
1.文件读取
2.数据写入
二、基本数据结构
1.series
2.dataFrame
三、常用基本函数
1.汇总函数
2.特征统计函数
3.唯一值函数
4.替换函数
5.排序函数
6.apply方法
四、窗口对象
1.滑窗对象
2.扩张窗口
五、练习
1.Ex1 口袋妖怪数据集
2.Ex2：指数加权窗口

打卡内容：

一、文件的读取与写入

1.文件读取

pandas 可以读取的文件格式有很多，这里主要介绍读取 csv, excel, txt 文件。

csv：

df_csv = pd.read_csv('xxx.csv')

excel：

df_excel = pd.read_excel('xxx.xlsx')

txt：

df_txt = pd.read_table('xxx.txt')

他们都有一些常用的参数：

header=None：表示第一行不作为列名
index_col：表示把某一列或几列作为索引
usecols ：表示读取列的集合，默认读取所有的列
parse_dates ：表示需要转化为时间的列
nrows 表示读取的数据行数。

在读取 txt 文件时，经常遇到分隔符非空格的情况， read_table 有一个分割参数 sep ，它使得用户可以自定义分割符号，进行 txt 数据的读取。
例如：

在这里插入图片描述

2.数据写入

1.去除索引列
最常用的操作是把 index 设置为 False，特别当索引没有特殊意义的时候，这样的行为能把索引在保存的时候去除。

df_csv.to_csv('data/my_csv_saved.csv', index=False)

df_excel.to_excel('data/my_excel_saved.xlsx', index=False)

2.保存为txt格式
pandas 中没有定义 to_table 函数，但是 to_csv 可以保存为 txt 文件，并且允许自定义分隔符，常用制表符 \t 分割：

df_txt.to_csv('data/my_txt_saved.txt', sep='\t', index=False)

3.将表格保存为 markdown 和 latex 语言
使用to_markdown 和 to_latex 函数，此处需要安装 tabulate 包。

在这里插入图片描述

二、基本数据结构

1.series（存储一维 values）

Series 一般由四个部分组成：

序列的值 data
索引 index
存储类型 dtype
序列的名字 name

其中，索引也可以指定它的名字，默认为空

 s = pd.Series(data = [100, 'a', {'dic1':5}],
              index = pd.Index(['id1', 20, 'third'], name='my_idx'),
              dtype = 'object',
              name = 'my_name')
 s
#output：
my_idx
id1              100
20                 a
third    {'dic1': 5}
Name: my_name, dtype: object

object 代表了一种混合类型，正如上面的例子中存储了整数、字符串以及 Python 的字典数据结构。此外，目前 pandas 把纯字符串序列也默认认为是一种 object 类型的序列，但它也可以用 string 类型存储，文本序列的内容会在第八章中讨论。

1）获取序列属性
对于这些属性，可以通过 . 的方式来获取：

s.values
#Output: array([100, 'a', {'dic1': 5}], dtype=object)

s.index
#Output: Index(['id1', 20, 'third'], dtype='object', name='my_idx')

s.dtype
#Output：dtype('O')

s.name
#Output：'my_name'

2）获取序列长度

利用 .shape 可以获取序列的长度：

s.shape
#Output: (3,)

3）获取单个对应的索引值
如果想要取出单个索引对应的值，可以通过 [index_item] 可以取出。

 s['third']
Out[29]: {'dic1': 5}

2.dataFrame（存储二维 values）

DataFrame 在 Series 的基础上增加了列索引，一个数据框可以由二维的 data 与行列索引来构造：

data = [[1, 'a', 1.2], [2, 'b', 2.2], [3, 'c', 3.2]]
df = pd.DataFrame(data = data,
				index = ['row_%d'%i for i in range(3)],
				columns=['col_0', 'col_1', 'col_2'])
df
#output：
 
       col_0 col_1  col_2
row_0      1     a    1.2
row_1      2     b    2.2
row_2      3     c    3.2

但一般而言，更多的时候会采用从列索引名到数据的映射来构造数据框，同时再加上行索引：

df = pd.DataFrame(data = {'col_0': [1,2,3], 'col_1':list('abc'),
                           'col_2': [1.2, 2.2, 3.2]},
                     index = ['row_%d'%i for i in range(3)])
df

在这里插入图片描述
在 DataFrame 中可以用 [col_name] 与 [col_list] 来取出相应的列与由多个列组成的表，结果分别为 Series 和 DataFrame ：

df['col_0']

在这里插入图片描述

df[['col_0', 'col_1']]

在这里插入图片描述与 Series 类似，在数据框中同样可以取出相应的属性：
通过 .T 可以把 DataFrame 进行转置：

 df.T

在这里插入图片描述

三、常用基本函数

使用表格前7列

df = df[df.columns[:7]]

1.汇总函数

1）head, tail 函数分别表示返回表或者序列的前 n 行和后 n 行，其中 n 默认为5
在这里插入图片描述 2）info, describe 分别返回表的 信息概况 和表中 数值列对应的主要统计量

info, describe 只能实现较少信息的展示，如果想要对一份数据集进行全面且有效的观察，特别是在列较多的情况下，推荐使用 pandas-profiling 包，它将在第十一章被再次提到。

2.特征统计函数

在 Series 和 DataFrame 上定义了许多统计函数，最常见的是 sum, mean, median, var, std, max, min 。例如，选出身高和体重列进行演示：
在这里插入图片描述此外，需要介绍的是 quantile, count, idxmax 这三个函数，它们分别返回的是分位数、非缺失值个数、最大值对应的索引：
上面这些所有的函数，由于操作后返回的是标量，所以又称为聚合函数，它们有一个公共参数 axis ，默认为0代表逐列聚合，如果设置为1则表示逐行聚合：
在这里插入图片描述