10.25学习日志

函数

接上篇

2、重置索引

重置索引（reindex）可以更改原 DataFrame 的行标签或列标签，并使更改后的行、列标签与 DataFrame 中的数据逐一匹配。通过重置索引操作，您可以完成对现有数据的重新排序。如果重置的索引标签在原 DataFrame 中不存在，那么该标签对应的元素值将全部填充为 NaN。

2.1 reindex

reindex() 方法用于重新索引 DataFrame 或 Series 对象。重新索引意味着根据新的索引标签重新排列数据，并填充缺失值。如果重置的索引标签在原 DataFrame 中不存在，那么该标签对应的元素值将全部填充为 NaN。

语法：

DataFrame.reindex(labels=None, index=None, columns=None, axis=None, method=None, copy=True, level=None, fill_value=np.nan, limit=None, tolerance=None)

参数：

1. labels：

   • 类型：数组或列表，默认为 None。

   • 描述：新的索引标签。

2. index：

   • 类型：数组或列表，默认为 None。

   • 描述：新的行索引标签。

3. columns：

   • 类型：数组或列表，默认为 None。

   • 描述：新的列索引标签。

4. axis：

   • 类型：整数或字符串，默认为 None。

   • 描述：指定重新索引的轴。0 或 'index' 表示行，1 或 'columns' 表示列。

5. method：

   • 类型：字符串，默认为 None。

   • 描述：用于填充缺失值的方法。可选值包括 'ffill'（前向填充）、'bfill'（后向填充）等。

6. copy：

   • 类型：布尔值，默认为 True。

   • 描述：是否返回新的 DataFrame 或 Series。

7. level：

   • 类型：整数或级别名称，默认为 None。

   • 描述：用于多级索引（MultiIndex），指定要重新索引的级别。

8. fill_value：

   • 类型：标量，默认为 np.nan。

   • 描述：用于填充缺失值的值。

9. limit：

   • 类型：整数，默认为 None。

   • 描述：指定连续填充的最大数量。

10. tolerance：

    • 类型：标量或字典，默认为 None。

    • 描述：指定重新索引时的容差。

2.2 reindex_like

reindex_like 方法用于将一个 DataFrame 或 Series 的索引重新排列，使其与另一个 DataFrame 或 Series 的索引相匹配。如果在重新索引的过程中，新的索引与原始索引不完全匹配，那么不匹配的位置将会被填充为 NaN 值。

语法：

DataFrame.reindex_like(other, method=None, copy=True, limit=None, tolerance=None)

参数：

1. other：

   • 类型：DataFrame 或 Series。

   • 描述：用于对齐索引和列的参考对象。

2. method：

   • 类型：字符串，默认为 None。

   • 描述：用于填充缺失值的方法。可选值包括 'ffill'（前向填充）、'bfill'（后向填充）等。

3. copy：

   • 类型：布尔值，默认为 True。

   • 描述：是否返回新的 DataFrame 或 Series。

4. limit：

   • 类型：整数，默认为 None。

   • 描述：指定连续填充的最大数量。

5. tolerance：

   • 类型：标量或字典，默认为 None。

   • 描述：指定重新索引时的容差。

3、遍历

对于 Series 而言，您可以把它当做一维数组进行遍历操作；而像 DataFrame 这种二维数据表结构，则类似于遍历 Python 字典

Series 可直接获取相应的 value，而 DataFrame 则会获取列标签

3.1 Series遍历

使用 items()

import pandas as pd
​
# 创建一个示例 Series
series = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
for index, value in series.items():
    print(f"Index: {index}, Value: {value}")

使用 index 属性

import pandas as pd
​
# 创建一个示例 Series
series = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
​
# 遍历索引
for index in series.index:
    print(f"Index: {index}, Value: {series[index]}")

使用 values 属性

import pandas as pd
​
# 创建一个示例 Series
series = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
​
# 遍历值
for value in series.values:
    print(f"Value: {value}")

3.2 DataFrame 遍历

dataFrame_data = pd.DataFrame({
    'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']),
    'two': pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])
})
# 遍历dataframe得到的是列标签
print('DataFrame：')
for item in dataFrame_data:
    print(item, end=' ')

迭代器返回的是原数据的副本

遍历行

iterrows() 方法用于遍历 DataFrame 的行，返回一个包含索引和行的迭代器。

当处理大型数据集时，应尽量避免使用 iterrows()，因为它的性能相对较差。

itertuples() 是遍历 DataFrame 的推荐方法，因为它在速度和内存使用上都更高效。

遍历列

items() 方法用于遍历 DataFrame 的列，返回一个包含列名和列数据的迭代器。

使用属性遍历

loc 和 iloc 方法可以用于按索引或位置遍历 DataFrame 的行和列。

4、排序

4.1 sort_index

sort_index 方法用于对 DataFrame 或 Series 的索引进行排序。

• axis：指定要排序的轴。默认为 0，表示按行索引排序。如果设置为 1，将按列索引排序。

• ascending：布尔值，指定是升序排序（True）还是降序排序（False）。

• inplace：布尔值，指定是否在原地修改数据。如果为 True，则会修改原始数据；如果为 False，则返回一个新的排序后的对象。

4.2 sort_values

sort_values 方法用于根据一个或多个列的值对 DataFrame 进行排序。

语法：

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last')

参数：

• by：列的标签或列的标签列表。指定要排序的列。

• axis：指定沿着哪个轴排序。默认为 0，表示按行排序。如果设置为 1，将按列排序。

• ascending：布尔值或布尔值列表，指定是升序排序（True）还是降序排序（False）。可以为每个列指定不同的排序方向。

• inplace：布尔值，指定是否在原地修改数据。如果为 True，则会修改原始数据；如果为 False，则返回一个新的排序后的对象。

• kind：排序算法。默认为 'quicksort'，也可以选择 'mergesort' 或 'heapsort'。

• na_position：指定缺失值（NaN）的位置。可以是 'first' 或 'last'。

5、去重

drop_duplicates 方法用于删除 DataFrame 或 Series 中的重复行或元素。

语法：

drop_duplicates(by=None, subset=None, keep='first', inplace=False)
Series.drop_duplicates(keep='first', inplace=False)

参数：

• by：用于标识重复项的列名或列名列表。如果未指定，则使用所有列。

• subset：与 by 类似，但用于指定列的子集。

• keep：指定如何处理重复项。可以是：

  • 'first'：保留第一个出现的重复项（默认值）。

  • 'last'：保留最后一个出现的重复项。

  • False：删除所有重复项。

• inplace：布尔值，指定是否在原地修改数据。如果为 True，则会修改原始数据；如果为 False，则返回一个新的删除重复项后的对象。

6、分组

6.1 groupby

groupby 方法用于对数据进行分组操作，这是数据分析中非常常见的一个步骤。通过 groupby，你可以将数据集按照某个列（或多个列）的值分组，然后对每个组应用聚合函数，比如求和、平均值、最大值等。

语法：

DataFrame.groupby(by, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, observed=False, **kwargs)

参数：

• by：用于分组的列名或列名列表。

• axis：指定沿着哪个轴进行分组。默认为 0，表示按行分组。

• level：用于分组的 MultiIndex 的级别。

• as_index：布尔值，指定分组后索引是否保留。如果为 True，则分组列将成为结果的索引；如果为 False，则返回一个列包含分组信息的 DataFrame。

• sort：布尔值，指定在分组操作中是否对数据进行排序。默认为 True。

• group_keys：布尔值，指定是否在结果中添加组键。

• squeeze：布尔值，如果为 True，并且分组结果返回一个元素，则返回该元素而不是单列 DataFrame。

• observed：布尔值，如果为 True，则只考虑数据中出现的标签。

6.2 filter

通过 filter() 函数可以实现数据的筛选，该函数根据定义的条件过滤数据并返回一个新的数据集

7、合并

merge 函数用于将两个 DataFrame 对象根据一个或多个键进行合并，类似于 SQL 中的 JOIN 操作。这个方法非常适合用来基于某些共同字段将不同数据源的数据组合在一起，最后拼接成一个新的 DataFrame 数据表。

函数：

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)

参数：

• left：左侧的 DataFrame 对象。

• right：右侧的 DataFrame 对象。

• how

  ：合并方式，可以是 'inner'、'outer'、'left' 或 'right'。默认为 'inner'。

  • 'inner'：内连接，返回两个 DataFrame 共有的键。

  • 'outer'：外连接，返回两个 DataFrame 的所有键。

  • 'left'：左连接，返回左侧 DataFrame 的所有键，以及右侧 DataFrame 匹配的键。

  • 'right'：右连接，返回右侧 DataFrame 的所有键，以及左侧 DataFrame 匹配的键。

• on：用于连接的列名。如果未指定，则使用两个 DataFrame 中相同的列名。

• left_on 和 right_on：分别指定左侧和右侧 DataFrame 的连接列名。

• left_index 和 right_index：布尔值，指定是否使用索引作为连接键。

• sort：布尔值，指定是否在合并后对结果进行排序。

• suffixes：一个元组，指定当列名冲突时，右侧和左侧 DataFrame 的后缀。

• copy：布尔值，指定是否返回一个新的 DataFrame。如果为 False，则可能修改原始 DataFrame。

• indicator：布尔值，如果为 True，则在结果中添加一个名为 __merge 的列，指示每行是如何合并的。

• validate：验证合并是否符合特定的模式。

8、时间

8.1 datetime

datetime 模块提供了用于处理日期和时间的类。

from datetime import datetime
​
dt = datetime(2024, 5, 19, 16, 45, 30)
print(dt)
print(dt.date())  # 输出: 2024-05-19
print(dt.time())  # 输出: 16:45:00

8.2 Timestamp

Timestamp 是一个特殊的 datetime 类型，用于表示单个时间点。它是 pandas 时间序列功能的核心组件，提供了丰富的方法和属性来处理日期和时间数据。

import pandas as pd
​
# 从日期字符串创建
ts = pd.Timestamp('2024-05-19 16:45:00')
print(ts)
​
# 从时间戳创建
ts = pd.Timestamp(1652937700)  # Unix 时间戳
print(ts)

8.3 日期解析

pd.to_datetime() 方法用于将字符串或其他格式的日期转换为 Pandas 的 Datetime 对象。

案例：

import pandas as pd
​
# 将字符串转换为 Datetime 对象
date_str = '2023-10-01'
date_obj = pd.to_datetime(date_str)
print(date_obj)
​
# 获取当前时间
print('当前时间：')
print(datetime.now())

8.4 date_range

date_range() 函数用于生成一个固定频率的日期时间索引（DatetimeIndex）。这个函数非常灵活，可以用于生成各种时间序列数据。

语法：

pandas.date_range(start=None, end=None, periods=None, freq=None, tz=None, normalize=False, name=None, closed=None, **kwargs)

参数：

1. start：

   • 类型：字符串或日期时间对象，默认为 None。

   • 描述：起始日期时间。

2. end：

   • 类型：字符串或日期时间对象，默认为 None。

   • 描述：结束日期时间。

3. periods：

   • 类型：整数，默认为 None。

   • 描述：生成的日期时间索引的数量。

4. freq：

   • 类型：字符串或日期偏移对象，默认为 None。

   • 描述：时间频率。常见的频率包括 'D'（天）、'H'（小时）、'T' 或 'min'（分钟）、'S'（秒）等。

5. tz：

   • 类型：字符串或时区对象，默认为 None。

   • 描述：指定时区。

6. normalize：

   • 类型：布尔值，默认为 False。

   • 描述：是否将时间归一化到午夜。

7. name：

   • 类型：字符串，默认为 None。

   • 描述：生成的日期时间索引的名称。

8. closed：

   • 类型：字符串，默认为 None。

   • 描述：指定区间是否包含起始或结束日期时间。可选值为 'left'、'right' 或 None。

案例：

import pandas as pd
​
# 生成从 2023-01-01 到 2023-01-10 的每日日期时间索引
date_index = pd.date_range(start='2023-01-01', end='2023-01-10', freq='D')
print(date_index)
​
# 生成从 2023-01-01 00:00:00 到 2023-01-01 23:00:00 的每小时日期时间索引
date_index = pd.date_range(start='2023-01-01', periods=24, freq='H')
print(date_index)

8.5 时间差

Timedelta 是一个用于表示时间间隔的对象。它可以表示两个时间点之间的差异，或者表示某个时间段的长度。Timedelta 对象可以用于时间序列分析、日期运算等场景。

创建 Timedelta

1.使用字符串表示

import pandas as pd
​
td1 = pd.Timedelta('1 days 2 hours 30 minutes')
print(td1)  # 输出: 1 days 02:30:00

2.使用参数

td2 = pd.Timedelta(days=1, hours=2, minutes=30)
print(td2)  # 输出: 1 days 02:30:00

3.使用整数和单位

td3 = pd.Timedelta(5, unit='days')  # 5天
print(td3)  # 输出: 5 days 00:00:00

4.时间差加减

import pandas as pd
​
td1 = pd.Timedelta('1 days 2 hours 30 minutes')
print(td1)  # 输出: 1 days 02:30:00
​
ts = pd.Timestamp('2024-01-01')
new_ts = ts + td1
print(new_ts)  # 输出: 2024-01-02 02:30:00