pandas系列学习(三):DataFrame

Pandas使用小记1——2023.10.26 个人学习记录用。 阅读详情

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


pandas系列学习(一):pandas入门

pandas系列学习(二):Series

pandas系列学习(三):DataFrame


如果你正在进行数据科学,从基于 Excel 的分析转向 Python 脚本和自动分析领域,你将会遇到非常流行的数据处理方式 Pandas。Pandas 的开发始于 2008 年,主要开发人员是 Wes McKinney,该库已经成为使用 Python 进行数据分析和管理的标准。对于任何基于 Python 的数据专业人士,pandas 都是必不可少的工具。

这篇文章的目的是帮助初学者掌握 pandas 的基本数据格式 —— DataFrame。我们将研究创建数据框架的基本方法,DataFrame 是如何工作的。

本文中的主题是以下内容:

  • 将数据从文件加载到 Python Pandas DataFrame 中;
  • 检查数据的基本统计信息;
  • 修改一些数值;
  • 最后将结果输出到新文件;

什么是 DataFrame?

pandas 库将 DataFrame 定义为具有行和列的二维数据,大小可变的数据结构。简而言之,你可以将 DataFrame 视为数据表,即一维格式化的二维数据,它具有以下特征:

  • 数据中可以有多个行和列;
  • 每行代表一个数据样本;
  • 每列包含描述样本的不同变量;
  • 每列中的数据通常是相同类型的数据 —— 例如,数字,字符串,日期;
  • 通常,与 Excel 数据集不同的是,DataFrame 避免丢失值,并且行或列之间没有间隙和空值;

举例来说,以下数据集很适合 Pandas DataFrame:

  • 在学校系统 DataFrame 中 —— 每行可以代表学校中的单个学生,列可以表示学生姓名(字符串),年龄(数字),出生日期(日期)和地址(字符串);
  • 在经济学数据框架中,每一行可以代表一个城市或者地理区域,列可能包括区域名称(字符串),人口(数量),人口平均年龄(数量),住户数量(数量),每个地区的学校数量(数量)等;
  • 在电子商务系统或者商店中,DataFrame 中的每一行都可用于表示客户,其中有购买商品数量(数量),原始注册日期(日期)和信用卡(字符串);

创建 Pandas DataFrame

我们将研究两种创建 DataFrame 的方法 —— 手动创建和逗号分隔值(CSV)文件。

手动输入数据

每个数据科学项目的开始将包括将有用的数据导入分析环境,在本例中为 Python 。有多种方法可以在 Python 中创建 DataFrame 数据,最简单的犯法是手动将数据输入 Python,这显然只适用于微小的数据集。

data = {"column_1": [1,2,3,4,5], 
        "another_column": ["this", "column", "has", "strings", "inside"], 
        "float_column": [0.1,0.5,33,48,42.5558],
        "binary_solo": [True, False, True, True, False]
       }
new_dataframe = pd.DataFrame(data)
new_dataframe
another_columnbinary_solocolumn_1float_column
0thisTrue10.1000
1columnFalse20.5000
2hasTrue333.0000
3stringsTrue448.0000
4insideFalse542.5558

使用 Python 词典和列表创建 DataFrame 仅适用于你可以手动输入的小型数据集。还有其他方法可以格式化手动输入的数据,你可以查看官网。

请注意,我们一般都是预定将 pandas 库加载为 pd,这种方式也是官网推荐的方式,也会我们日常习惯用到的方式。

将 CSV 数据加载到 pandas 中

一旦知道文件的路径,使用 pandas 中的 read_csv() 函数就可以非常简单的从 csv 文件创建 DataFrame 。csv 文件是包含表格形式数据的文本文件,其中列使用“,”逗号字符分割,行位于不同的行上。

如果你的数据是采用其他形式,例如 SQL数据库或者 Excel(XLS / XLSX)文件,则额可以查看其他函数以从这些源读取到 DataFrame 中,即 read_xlsx,read_sql 。但是,为简单起见,有时候最好将数据直接提取到 csv 然后再使用它们。

我们来举个例子,我们将从 Data Science 竞赛网站 kaggle 下载的数据来记性实验,你可以直接点击这个链接进行下载。这个数据的格式非常的好,你可以现在 Excel 中打开它进行预览:

在这里插入图片描述

样本数据包含 21478 行数据,每行对应于来自特定国家地区的食物来源,前 10 列代表样本国家和食品的信息,其余栏代表 1963 年至 2013 年每年的粮食产量(总共 63 列)。

接下来,我们可以使用 pandas 来来加载这个 csv 数据,如下所示:

path_to_file = './Downloads/FAO+database.csv'
data = pd.read_csv(path_to_file, encoding='ISO-8859-1')
print(type(data))

预览并检查 pandas DataFrame 中的数据

在 Python 中有数据之后,你肯定希望看到数据已经加载,并确认存在预期的行和列。

打印数据

如果你使用的是 Jupyter ,只需要输入数据库的名称即可获得输出良好的输出。打印是预览加载数据的便捷方式,你可以确认列名是否已经正确导入,数据格式是否符合预期,以及是否有任何缺失值。

data.head()
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
0AF2Afghanistan2511Wheat and products5142Food1000 tonnes33.9467.71…3249.03486.03704.04164.04252.04538.04605.04711.048104895
1AF2Afghanistan2805Rice (Milled Equivalent)5142Food1000 tonnes33.9467.71…419.0445.0546.0455.0490.0415.0442.0476.0425422
2AF2Afghanistan2513Barley and products5521Feed1000 tonnes33.9467.71…58.0236.0262.0263.0230.0379.0315.0203.0367360
3AF2Afghanistan2513Barley and products5142Food1000 tonnes33.9467.71…185.043.044.048.062.055.060.072.07889
4AF2Afghanistan2514Maize and products5521Feed1000 tonnes33.9467.71…120.0208.0233.0249.0247.0195.0178.0191.0200200
获得 DataFrame 的行和列

shape 命令提供有关于数据集大小的信息 —— shape 返回一个包含行数的元祖,以及 DataFrame 中数据的列数。另一个描述属性是 ‘ndim’,它给出了数据中的维数,通常为 2 。

data.shape
(21477, 63)
data.ndim
2

从上面的结果中,我们可以看到我们的食品生产数据包含 21477 行,每行有 63 列,如 .shape 的输出所示。我们有两个维度 —— 即具有高度和宽度的2D数据帧。如果你的数据只有一列,则 ndim 将返回 1。

使用 head() 和 tail() 预览 DataFrame

默认情况下,DataFrame.head() 函数向你显示 DataFrame 中的前5行数据,相反的是 DataFrame.tail() 函数向你显示 DataFrame 中的最后5行数据。

如果你想打印特定的行数,那么你只需要向 head() 和 tail() 函数中传入特定的数字就行了。比如你想打印最开始的 10 行数据,那么你只需要调用 head(10) 就可以打印最开始的10行数据了。

data.head()
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
0AF2Afghanistan2511Wheat and products5142Food1000 tonnes33.9467.71…3249.03486.03704.04164.04252.04538.04605.04711.048104895
1AF2Afghanistan2805Rice (Milled Equivalent)5142Food1000 tonnes33.9467.71…419.0445.0546.0455.0490.0415.0442.0476.0425422
2AF2Afghanistan2513Barley and products5521Feed1000 tonnes33.9467.71…58.0236.0262.0263.0230.0379.0315.0203.0367360
3AF2Afghanistan2513Barley and products5142Food1000 tonnes33.9467.71…185.043.044.048.062.055.060.072.07889
4AF2Afghanistan2514Maize and products5521Feed1000 tonnes33.9467.71…120.0208.0233.0249.0247.0195.0178.0191.0200200

5 rows × 63 columns

data.tail()
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
21472ZW181Zimbabwe2948Milk - Excluding Butter5142Food1000 tonnes-19.0229.15…373.0357.0359.0356.0341.0385.0418.0457.0426451
21473ZW181Zimbabwe2960Fish, Seafood5521Feed1000 tonnes-19.0229.15…5.04.09.06.09.05.015.015.01515
21474ZW181Zimbabwe2960Fish, Seafood5142Food1000 tonnes-19.0229.15…18.014.017.014.015.018.029.040.04040
21475ZW181Zimbabwe2961Aquatic Products, Other5142Food1000 tonnes-19.0229.15…0.00.00.00.00.00.00.00.000
21476ZW181Zimbabwe2928Miscellaneous5142Food1000 tonnes-19.0229.15…0.00.00.00.00.00.00.00.000

5 rows × 63 columns

data.tail(10)
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
21467ZW181Zimbabwe2943Meat5142Food1000 tonnes-19.0229.15…222.0228.0233.0238.0242.0265.0262.0277.0280258
21468ZW181Zimbabwe2945Offals5142Food1000 tonnes-19.0229.15…20.020.021.021.021.021.021.021.02222
21469ZW181Zimbabwe2946Animal fats5142Food1000 tonnes-19.0229.15…26.026.029.029.027.031.030.025.02620
21470ZW181Zimbabwe2949Eggs5142Food1000 tonnes-19.0229.15…15.018.018.021.022.027.027.024.02425
21471ZW181Zimbabwe2948Milk - Excluding Butter5521Feed1000 tonnes-19.0229.15…21.021.021.021.021.023.025.025.03031
21472ZW181Zimbabwe2948Milk - Excluding Butter5142Food1000 tonnes-19.0229.15…373.0357.0359.0356.0341.0385.0418.0457.0426451
21473ZW181Zimbabwe2960Fish, Seafood5521Feed1000 tonnes-19.0229.15…5.04.09.06.09.05.015.015.01515
21474ZW181Zimbabwe2960Fish, Seafood5142Food1000 tonnes-19.0229.15…18.014.017.014.015.018.029.040.04040
21475ZW181Zimbabwe2961Aquatic Products, Other5142Food1000 tonnes-19.0229.15…0.00.00.00.00.00.00.00.000
21476ZW181Zimbabwe2928Miscellaneous5142Food1000 tonnes-19.0229.15…0.00.00.00.00.00.00.00.000

10 rows × 63 columns

列的数据类型(dtypes)

许多 DataFrame 都有混合数据类型,也就是说,有些列是数字,有些是字符串,有些是日期等。在内部,csv 文件不包含每列中包含哪些数据类型的信息;所有数据都只是字符。pandas 在加载数据时推断数据类型,例如,如果列只包含数字,则 pandas 会将该列的数据类型设置为 numeric:integer 或者 float。

你可以使用数据框的 .dtypes 属性来检查示例中每列的类型。

data.dtypes
Area Abbreviation     object
Area Code              int64
Area                  object
Item Code              int64
Item                  object
Element Code           int64
Element               object
Unit                  object
latitude             float64
longitude            float64
Y1961                float64
Y1962                float64
Y1963                float64
Y1964                float64
Y1965                float64
Y1966                float64
Y1967                float64
Y1968                float64
Y1969                float64
Y1970                float64
Y1971                float64
Y1972                float64
Y1973                float64
Y1974                float64
Y1975                float64
Y1976                float64
Y1977                float64
Y1978                float64
Y1979                float64
Y1980                float64
....

在某些情况下,自动推断数据类型可能会产生意外结果。请注意,字符串作为“对象”数据类型加载,要更改特定列的数据类型,请使用 .astype() 函数。例如,要将 “项目代码” 列视为字符串,请使用:

data['Item Code'].astype(str)

使用 .describe() 描述数据

最后,要查看有关特定列的一些核心统计信息,我们可以使用 describe() 函数。

  • 对于数字列,describe() 返回基本统计信息:列中数据的值计数,平均值,标准差,最小值,最大值以及第 25,第 50和第75的中位数;
  • 对于字符串列,describe() 返回值计数,唯一条目数,最常出现的值(top value) 以及最高值出现的次数(freq);

利用 [] 选择要进行描述的列,并调用 describe() ,如下所示:

data['Y2013'].describe()
count     21477.000000
mean        575.557480
std        6218.379479
min        -246.000000
25%           0.000000
50%           8.000000
75%          90.000000
max      489299.000000
Name: Y2013, dtype: float64
data['Area'].describe()
count     21477
unique      174
top       Spain
freq        150
Name: Area, dtype: object

使用 describe() 函数获取 DataFrame 中列的基本统计信息。请注意具有 numeric 数据类型的列与字符串和字符列之间的差异。

请注意,如果在整个 DataFrame 上调用 describe,则仅返回具有 numeric 数据类型的列的统计信息,并返回 DataFrame 格式。

data.describe()
Area CodeItem CodeElement CodelatitudelongitudeY1961Y1962Y1963Y1964Y1965…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
count21477.00000021477.00000021477.00000021477.00000021477.00000017938.00000017938.00000017938.00000017938.00000017938.000000…21128.00000021128.00000021373.00000021373.00000021373.00000021373.00000021373.00000021373.00000021477.00000021477.000000
mean125.4494112694.2115295211.68715420.45061315.794445195.262069200.782250205.464600209.925577217.556751…486.690742493.153256496.319328508.482104522.844898524.581996535.492069553.399242560.569214575.557480
std72.868149148.973406146.82007924.62833666.0121041864.1243361884.2655911861.1747391862.0001162014.934333…5001.7820085100.0570365134.8193735298.9398075496.6975135545.9393035721.0894255883.0716046047.9508046218.379479
min1.0000002511.0000005142.000000-40.900000-172.1000000.0000000.0000000.0000000.0000000.000000…0.0000000.0000000.0000000.0000000.0000000.0000000.0000000.000000-169.000000-246.000000
25%63.0000002561.0000005142.0000006.430000-11.7800000.0000000.0000000.0000000.0000000.000000…0.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.000000
50%120.0000002640.0000005142.00000020.59000019.1500001.0000001.0000001.0000001.0000001.000000…6.0000006.0000007.0000007.0000007.0000007.0000007.0000008.0000008.0000008.000000
75%188.0000002782.0000005142.00000041.15000046.87000021.00000022.00000023.00000024.00000025.000000…75.00000077.00000078.00000080.00000082.00000083.00000083.00000086.00000088.00000090.000000
max276.0000002961.0000005521.00000064.960000179.410000112227.000000109130.000000106356.000000104234.000000119378.000000…360767.000000373694.000000388100.000000402975.000000425537.000000434724.000000451838.000000462696.000000479028.000000489299.000000

8 rows × 58 columns

describe() 最后返回的是一个统计信息,格式是另一个 DataFrame 。

选择和操作数据

pandas 的数据选择方法非常灵活。在本文章中,我们来查看列和行的基本操作。

选择列

在 pandas 中选择列有三种主要方式:

  • 使用点符号,例如,data.column_name;
  • 使用方括号和列的名称作为字符串,例如 data[‘column_name’];
  • 使用数字索引和 iloc 选择器 data.iloc[:, <column_number>];
data.Area.head()
0    Afghanistan
1    Afghanistan
2    Afghanistan
3    Afghanistan
4    Afghanistan
Name: Area, dtype: object
data['Area'].head()
0    Afghanistan
1    Afghanistan
2    Afghanistan
3    Afghanistan
4    Afghanistan
Name: Area, dtype: object
data.iloc[:,2].head()
0    Afghanistan
1    Afghanistan
2    Afghanistan
3    Afghanistan
4    Afghanistan
Name: Area, dtype: object

使用任何这些方法选择列时,最后生成的都是 Series 数据类型。pandas Series 是一维数据结构。了解可以对这些 Series 数据执行的基本操作是非常有用的,包括求和( .sum() ),求平均值( .mean() ),计数( .count() ),得到中位数( .median() ),并替换缺失值( .fillna(new_value) )。

[data['Y2007'].sum(), # Total sum of the column values
 data['Y2007'].mean(), # Mean of the column values
 data['Y2007'].median(), # Median of the column values
 data['Y2007'].nunique(), # Number of unique entries
 data['Y2007'].max(), # Maximum of the column values
 data['Y2007'].min()] # Minimum of the column values
[10867788.0, 508.48210358863986, 7.0, 1994, 402975.0, 0.0]

同时选择多个列会从现有 DataFrame 中提取新的 DataFrame 。要选择多列,语法为:

  • 带有列名列表的方括号选择,例如:data[ [ ‘column_name_1’, ‘column_name_2’ ] ];
  • 使用带有 iloc 选择器的数字索引和列号列表,例如:data.iloc[:, [0,1,3,4]];
data[['Area Code', 'Area']].head()
Area CodeArea
02Afghanistan
12Afghanistan
22Afghanistan
32Afghanistan
42Afghanistan
data.iloc[:,[1,2]].head()
Area CodeArea
02Afghanistan
12Afghanistan
22Afghanistan
32Afghanistan
42Afghanistan
选择行

通常使用 iloc / loc 选择方法或使用逻辑选择器(基于另一列或者变量的值进行选择)来选择 DataFrame 中的行。以下是一些基本选择行的方式:

  • 使用 iloc 选择器进行数字选择,例如 data.iloc[0:10, : ] ,这就能选择前 10 行;
  • 使用 loc 选择器进行基于标签的行选择,例如 data.loc[2, : ];
  • 使用评估语句的基于逻辑的行选择,例如 data[ data[ “Area” ] == “Ireland” ] 选择 Area 值为 Ireland 的行;
data.iloc[[1,2], : ].head()
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
1AF2Afghanistan2805Rice (Milled Equivalent)5142Food1000 tonnes33.9467.71…419.0445.0546.0455.0490.0415.0442.0476.0425422
2AF2Afghanistan2513Barley and products5521Feed1000 tonnes33.9467.71…58.0236.0262.0263.0230.0379.0315.0203.0367360

2 rows × 63 columns

data.loc[2, : ]
Area Abbreviation                     AF
Area Code                              2
Area                         Afghanistan
Item Code                           2513
Item                 Barley and products
Element Code                        5521
Element                             Feed
Unit                         1000 tonnes
latitude                           33.94
longitude                          67.71
Y1961                                 76
....
data[ data["Area"] == 'Ireland' ].head()
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
9533IE104Ireland2511Wheat and products5521Feed1000 tonnes53.41-8.24…968.0976.0902.0685.01063.0804.0783.0760.0650600
9534IE104Ireland2511Wheat and products5142Food1000 tonnes53.41-8.24…395.0423.0501.0449.0470.0493.0512.0502.0494500
9535IE104Ireland2805Rice (Milled Equivalent)5521Feed1000 tonnes53.41-8.24…3.03.03.04.05.04.04.04.044
9536IE104Ireland2805Rice (Milled Equivalent)5142Food1000 tonnes53.41-8.24…11.06.06.09.014.015.016.014.01414
9537IE104Ireland2513Barley and products5521Feed1000 tonnes53.41-8.24…993.0908.01047.0904.01242.01290.01283.01182.011461380

5 rows × 63 columns

我们可以灵活使用多种方式对行和列的组合选择,以实现对数据的操作。

删除行和列(drop)

要从 DataFrame 中删除行和列,pandas 给我们准备了 drop 函数。

要删除一列或者多列,请使用列的名称,并且将轴(axis)指定为 1。或者,如下面的例子所示,在 pandas 中添加了 “columns” 参数,从而不需要指定轴。drop 函数返回的是一个新的 DataFrame,并且删除了列。如果你需要编辑原始 DataFrame,可以将 inplace 参数设置为 True,并且没有返回值。

# Deleting columns
# Delete the "Area" column from the dataframe
data = data.drop("Area", axis=1)
# alternatively, delete columns using the columns parameter of drop
data = data.drop(columns="area")
# Delete the Area column from the dataframe in place
# Note that the original 'data' object is changed when inplace=True
data.drop("Area", axis=1, inplace=True). 
# Delete multiple columns from the dataframe
data = data.drop(["Y2001", "Y2002", "Y2003"], axis=1)

也可以使用 drop 函数删除行,方法是指定 axis = 0。drop() 根据标签删除行,而不是数字索引,要根据数字位置 / 索引删除行,请使用 iloc 重新分配数据框值,如下所示:

data.head(3)
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
0AF2Afghanistan2511Wheat and products5142Food1000 tonnes33.9467.71…3249.03486.03704.04164.04252.04538.04605.04711.048104895
1AF2Afghanistan2805Rice (Milled Equivalent)5142Food1000 tonnes33.9467.71…419.0445.0546.0455.0490.0415.0442.0476.0425422
2AF2Afghanistan2513Barley and products5521Feed1000 tonnes33.9467.71…58.0236.0262.0263.0230.0379.0315.0203.0367360

3 rows × 63 columns

data.drop([0,1], axis=0).head(3)
Area AbbreviationArea CodeAreaItem CodeItemElement CodeElementUnitlatitudelongitude…Y2004Y2005Y2006Y2007Y2008Y2009Y2010Y2011Y2012Y2013
2AF2Afghanistan2513Barley and products5521Feed1000 tonnes33.9467.71…58.0236.0262.0263.0230.0379.0315.0203.0367360
3AF2Afghanistan2513Barley and products5142Food1000 tonnes33.9467.71…185.043.044.048.062.055.060.072.07889
4AF2Afghanistan2514Maize and products5521Feed1000 tonnes33.9467.71…120.0208.0233.0249.0247.0195.0178.0191.0200200

3 rows × 63 columns

Pandas 中的 drop() 函数用于从 DataFrame 中删除行,轴设置为 0。如前所述,inplace 参数可用于更改 DataFrame 而无需重新分配。

# Delete the rows with labels 0,1,5
data = data.drop([0,1,2], axis=0)
# Delete the rows with label "Ireland"
# For label-based deletion, set the index first on the dataframe:
data = data.set_index("Area")
data = data.drop("Ireland", axis=0). # Delete all rows with label "Ireland"
# Delete the first five rows using iloc selector
data = data.iloc[5:,]

重命名列

使用 DataFrame 重命名功能可以在 pandas 中轻松实现列重命名。重命名功能易于使用,而且非常灵活。以这两种方式重命名列:

  • 通过使用字典将旧名称映射到新名称进行重命名,格式为 {“old_column_name”: “new_column_name”, …};
  • 通过提供更改列名称的函数重命名。函数应用于每个列名称。
# Rename columns using a dictionary to map values
# Rename the Area columnn to 'place_name'
data = data.rename(columns={"Area": "place_name"})
# Again, the inplace parameter will change the dataframe without assignment
data.rename(columns={"Area": "place_name"}, inplace=True)
# Rename multiple columns in one go with a larger dictionary
data.rename(
    columns={
        "Area": "place_name",
        "Y2001": "year_2001"
    },
    inplace=True
)
# Rename all columns using a function, e.g. convert all column names to lower case:
data.rename(columns=str.lower)

在许多情况下,我使用列名称的整理函数来确保变量名称的标准 camel-case 格式。从可能非结构化数据集加载数据时,使用 lambda 函数删除空格和小写所有列名称会很有用:

# Quickly lowercase and camelcase all column names in a DataFrame
data = pd.read_csv("/path/to/csv/file.csv")
data.rename(columns=lambda x: x.lower().replace(' ', '_'))

导出和保存 pandas DataFrame

在操作或者计算之后,下一步是将数据保存回 csv 文件,pandas 中的数据输出就像加载数据一样简单。

你只需要知道两个函数:第一个 to_csv 函数将 DataFrame 写入 csv 文件,to_excel 函数将 DataFrame 信息写入 Microsoft Excel 文件。

# Output data to a CSV file
# Typically, I don't want row numbers in my output file, hence index=False.
# To avoid character issues, I typically use utf8 encoding for input/output.
data.to_csv("output_filename.csv", index=False, encoding='utf8')
# Output data to an Excel file.
# For the excel output to work, you may need to install the "xlsxwriter" package.
data.to_csv("output_excel_file.xlsx", sheet_name="Sheet 1", index=False)

其他有用的函数功能

数据分组和聚合

加载数据之后,你需要将其按一个或另一个值分组,然后运行一些计算。这个我们会在后续文章 中介绍。

绘制 pandas DataFrame —— 条形图和线条

pandas 内置了一个相对广泛的绘图功能,可用于初步图形化探索 —— 尤其是当你使用 Jupyter 进行数据分析。

你需要安装 matplotlib 绘图包以生成图形,并且导入 matplotlib.pyplot 作为 plt,以便为图标添加图形标签和轴标签。pandas 原生的 plot() 命令提供了大量功能。

import matplotlib.pyplot as plt

data['latitude'].plot(kind='hist', bins=100)
plt.xlabel('Latitude Value')
plt.show()

在这里插入图片描述

plot_data = data[data["Element"] == 'Food']
plot_data = plot_data.groupby('Area')['Y2013'].sum()
plot_data.sort_values()[-10:].plot(kind='bar')
plt.title("Top Ten Food Producers")
plt.ylabel("Food produced (tonnes)")
plt.show()

在这里插入图片描述

使用 pandas DataFrame 绘图命令,结合数据分析,数据分组和最终绘图。

【Pandas】pandas DataFrame boxplot `pandas.DataFrame.boxplot()` 是用于绘制 **箱型图(Boxplot)** 的方法,它是对 `matplotlib.pyplot.boxplot()` 的封装,专为 DataFrame 设计,支持多列数据的批量可视化。 阅读详情

相关推荐

【Pandas】pandas DataFrame T

`pandas.DataFrame.T` 是一个**属性(不是方法)**,用于**转置 DataFrame**,即将行和列互换。它是 `DataFrame.transpose()` 的快捷方式,常用于数据重塑、可视化或机器学习任务中调整数据结构。

weixin_39648905的博客 1593

第6章 数据结构化与数据存储(6.1数据结构化神器——pandas库,读取网页中的表格数据)

通过pandas库可以方便地爬取网页中的表格数据,对数据进行结构化处理,并导出为Excel工作簿等文件。 6.1.1用read_html()函数快速爬取网页表格数据 使用pandas库中的read_html()函数可以快速爬取网页中的表格数据。用搜索引擎搜索并打开“新浪财经数据中心”,然后选择“投资参考”中的“大宗交易”,如下图所示。下面就以爬取该页面(http://vip.stock.finance.sina.com.cn/q/go.php/vInvestConsult/kind/dzjy/inde.

Triumph19的博客 4489

【Pandas】pandas DataFrame update

`pandas.DataFrame.update()` 是一个用于**就地(in-place)更新 DataFrame 中数据**的方法。它会根据另一个 DataFrame 或 Series 的值来更新当前 DataFrame 中的对应位置数据。 默认情况下,它不会修改原始 DataFrame 的形状(即不新增列),只更新交集部分的数据。

weixin_39648905的博客 1370

dataframe的head方法_DataFrame

DataFrame 表示矩阵数据表,有行索引和列索引。构建方式In [43]: data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],...: 'year' : [2000, 2001, 2002, 2001, 2001, 2003],...: 'pop' : [1.5, 1...

weixin_34138585的博客 3467

【Pandas】pandas DataFrame hist

`pandas.DataFrame.hist()` 是用于绘制 **直方图(Histogram)** 的方法,可以对 DataFrame 中的一列或多列数据进行频数分布可视化。 该方法是对 `matplotlib.pyplot.hist()` 的封装,支持分组绘图、子图布局、样式定制等功能。

weixin_39648905的博客 1558

【Pandas】pandas DataFrame melt

`pandas.DataFrame.melt()` 是一个用于**将 DataFrame 从宽格式转换为长格式(“融化”操作)**的方法。它常用于数据重塑,特别是当你希望将多个列的值合并到一个列中,并保留某些标识变量(如 ID、类别等)。 它是 `pivot()` 的反向操作,非常适合用于后续的数据分析或可视化任务。

weixin_39648905的博客 1074

【机器学习笔记】【决策树】【泰坦尼克号幸存者的预测】

将我们上面网格搜索的最优的参数带入,得到的打分跟我们上面网格搜索的打分是一样的。这时我们Sex列的数据就全部被转换成了0,1,男的是1,女的是0。数据集可以从下面的网盘中提取。*具有自动拆包的作用。

芊樱烛渊的博客 3962

【Pandas】pandas DataFrame merge

`pandas.DataFrame.merge()` 是 Pandas 中用于**基于一个或多个键将两个 DataFrame 进行数据库风格的合并(join)**的方法。它类似于 SQL 中的 JOIN 操作,支持多种连接方式(如 `inner`, `left`, `right`, `outer`),并可以指定左右 DataFrame 的连接键。

weixin_39648905的博客 1187

python程序中函数有什么作用

具体来说,如果你有一个名为 data 的 Pandas DataFrame,调用 data.head() 将返回数据框的前几行,默认情况下是前5行。这对于快速查看数据的结构、列名和一些样本数据是非常有用的,尤其是在处理大型数据集时。data.head() 函数通常是用于查看数据框(DataFrame)的前几行数据的方法。在Python中,这通常是在使用像Pandas这样的数据处理库时使用的。这个输出显示了数据框的前5行,每一行是数据框中的一条记录,每一列是记录的一个属性。

qq_50594331的博客 1475

【Pandas】pandas DataFrame resample

`pandas.DataFrame.resample()` 是 Pandas 中用于**对时间序列数据进行重采样(resampling)**的核心方法。它类似于 SQL 中的“GROUP BY 时间窗口”操作,常用于将高频时间序列数据聚合为低频(如从分钟级到小时级、日级等),也支持升采样(插值填充)。

weixin_39648905的博客 1118

【Pandas】pandas DataFrame dtypes

`pandas.DataFrame.dtypes` 属性用于获取 DataFrame 中每一列的数据类型。通过 `dtypes` 属性,可以查看 DataFrame 中各列的数据类型,这对于数据验证和处理非常重要。

weixin_39648905的博客 1302

pandas 入门:DataFrame的创建,读写,插入和删除

本文介绍了Pandas创建和读取DataFrame的核心操作方法。主要内容包括:1)通过读取CSV/Excel文件、字典、数组或创建空DataFrame四种方式构建DataFrame;2)使用列名、列号或.loc/.iloc方法按列读取数据;3)通过行标签(.loc)、行号(.iloc)或已弃用的.ix方法按行读取数据;4)使用双重索引或.loc[row,col]格式按单元格精确读取数据。文章通过代码示例详细演示了各种操作方法的区别与适用场景,特别强调了索引设置对数据读取的影响,是Pandas基础操作的实用

不去想结果,一直在路上 30万+

【Pandas】pandas DataFrame mask

`pandas.DataFrame.mask(cond, other=<no_default>, *, inplace=False, axis=None, level=None)` 方法用于根据条件筛选 DataFrame 中的元素。如果条件为 `True`,则用 `other` 参数指定的值替换该元素;如果条件为 `False`,则保留原值。

weixin_39648905的博客 1108

Pandas系列学习教程——11 pandas实现DataFrame的Merge

随着人工智能的不断发展,数据分析这门技术也越来越重要,很多人都开启了学习数据分析,本文就介绍了pandas学习的基础内容。本章简单介绍了pandas实现DataFrame的Merge,具体讲解了Merge时的一对一和一对多,以及多对多数量问题。

lzylzy66的博客 1209

【Pandas】pandas DataFrame cumsum

`pandas.DataFrame.cumsum()` 方法用于计算 DataFrame 中每列或每行的**累计和(cumulative sum)**。该方法返回一个与原 DataFrame 形状相同的对象,每个位置上的值是到该位置为止所有元素的累加和。

weixin_39648905的博客 1178

【Pandas】pandas DataFrame squeeze

`pandas.DataFrame.squeeze()` 是一个用于**将长度为 1 的轴(axis)从 DataFrame 中“挤压”掉,返回更简洁的数据结构(如 Series)**的方法。 它是 Pandas 中用于数据维度压缩的重要工具之一,尤其适用于当你确定某些维度只有一个元素时,可以将其转换为更易处理的格式。

weixin_39648905的博客 889

拆分 Pandas DataFrame;把dataframe分成若干个小的dataframe,三种方法

目录 1.使用行索引分割 DataFrame 2.使用 groupby() 方法拆分 DataFrame 3.使用 sample() 方法拆分 DataFrame 使用行索引分割 DataFrame 我们将使用下面的 apprix_df DataFrame 来解释如何将一个 DataFrame 分割成多个更小的 DataFrame。 使用行索引分割 DataFrame import pandas as pd apprix_df = pd.DataFrame({ 'Name': ["Anish"

qq_41932272的博客 4万+

【Pandas】pandas DataFrame isin

`pandas.DataFrame.isin(values)` 方法用于检查 DataFrame 中的每个元素是否包含在指定的值集合中。返回一个与原 DataFrame 形状相同的布尔型 DataFrame,其中每个元素表示原 DataFrame 中的对应元素是否在 `values` 中。

weixin_39648905的博客 1266
上一篇: pandas系列学习(二):Series
下一篇: pandas系列学习(四):数据提取
coderpai
博客等级 码龄10年 1082粉丝 469原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值