AI闪电战：代码+实战从Python速通到深度学习|数据处理与分析——Pandas2

最新推荐文章于 2025-06-05 22:56:29 发布

原创

最新推荐文章于 2025-06-05 22:56:29 发布

· 1k 阅读

21 ·

版权

文章标签：

#人工智能 #python #深度学习

想要查看本系列的其他文章请到作者主页中。
学习提示：在有别的编程基础之上，学习Python很简单，只是语法不同，所以有很多新的语法记不住也没关系，不用专门耗时间死记，实战的时候现用现查就行。
下面的介绍中是每个部分最常用的语法，基本能够应付绝大多数的情况，如果希望学习更详细的内容，可以参考每个部分给出的资料链接。

AI闪电战：代码+实战从Python速通到深度学习|数据处理与分析——Pandas2

4. 数据清洗方法

4.1 处理缺失值（使用`dropna`, `fillna`等）

内容引入：

在数据分析中，缺失值是一个常见的问题。如果不处理好缺失值，数据分析结果可能会不准确。Pandas 提供了多种方法来处理缺失值，例如删除包含缺失值的行或列，或使用合理的值（如均值或中位数）来填充缺失值。

常用语法：

import pandas as pd
import numpy as np

# 创建包含缺失值的DataFrame
data = {
   
    'Name': ['Alice', 'Bob', 'Charlie', None],
    'Age': [25, np.nan, 30, 22],
    'Score': [85, 90, np.nan, 88]
}
df = pd.DataFrame(data)

# 使用 dropna 删除包含缺失值的行
df_dropna = df.dropna()

# 使用 fillna 填充缺失值
df_fillna = df.fillna({
   
    'Age': df['Age'].mean(),  # 使用年龄的平均值填充
    'Score': 0                # 使用 0 填充缺失的分数
})

# 查看结果
print("原始数据：\n", df)
print("\n删除缺失值后的数据：\n", df_dropna)
print("\n填充缺失值后的数据：\n", df_fillna)

要点总结：

dropna() 方法用于删除包含缺失值的行或列。参数 axis=0 删除行，axis=1 删除列。
fillna() 方法用于填充缺失值，可以通过字典为不同列指定不同的填充值，或使用全局填充值。
对于数值型数据，可以使用均值、0 或中位数等合理的方式进行填充。

练习：

创建一个包含缺失值的DataFrame，删除所有包含缺失值的行，并尝试用均值或0填充缺失值。

答案：

import pandas as pd
import numpy as np

# 创建包含缺失值的DataFrame
data = {
   
    'Product': ['Apple', 'Banana', None, 'Orange'],
    'Price': [1.2, np.nan, 0.8, None],
    'Quantity': [10, 5, None, 7]
}
df = pd.DataFrame(data)

# 删除包含缺失值的行
df_cleaned = df.dropna()

# 使用 0 和均值填充缺失值
df_filled = df.fillna({
   
    'Price': df['Price'].mean(),
    'Quantity': 0
})

print("删除缺失值后的数据：\n", df_cleaned)
print("\n填充缺失值后的数据：\n", df_filled)

更详细的知识点学习链接：

4.2 重复数据处理（使用`duplicated`, `drop_duplicates`等）

内容引入：

重复的数据会影响分析结果，尤其在数据清洗和准备阶段。Pandas 提供了检测和删除重复行的方法，帮助保持数据的唯一性和完整性。

常用语法：

import pandas as pd

# 创建包含重复数据的DataFrame
data = {
   
    'Name': ['Alice', 'Bob', 'Charlie', 'Bob'],
    'Age': [25, 30, 25, 30],
    'Score': [88.5, 92, 88.5, 92]
}
df = pd.DataFrame(data)

# 使用 duplicated() 检测重复行
duplicates = df.duplicated()

# 使用 drop_duplicates() 删除重复行
df_no_duplicates = df.drop_duplicates()

# 查看结果
print("重复行检测：\n", duplicates)
print("\n删除重复行后的数据：\n", df_no_duplicates)

要点总结：

duplicated() 方法用于检测DataFrame中的重复行，返回一个布尔值Series，表示每一行是否为重复行。
drop_duplicates() 方法用于删除DataFrame中的重复行，只保留第一个出现的重复行。
可以使用 subset 参数来指定哪些列需要用于检查重复数据。

练习：

创建一个包含重复行的DataFrame，检测并删除这些重复行。

答案：

import pandas as pd

# 创建包含重复数据的DataFrame
data = {
   
    'City': ['New York', 'Los Angeles', 'Chicago', 'New York'],
    'Population': [8419600, 3980400, 2716000, 8419600]
}
df = pd.DataFrame(data)

# 检测重复行
duplicates = df.duplicated()

# 删除重复行
df_cleaned = df.drop_duplicates()

print("重复行检测：\n", duplicates)
print("\n删除重复行后的数据：\n", df_cleaned)