Python数据分析实战

关注

原创最新推荐文章于 2026-06-19 11:15:16 发布 4.4k 阅读 AI 写同款· GEO 优化 ›

《Python数据分析实战终极指南》对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥面试的时候也有类似报表自动化，指标异常波动分析归因，市场行业机会分析，用户会员分层研究，货品关联组合应该怎么做等。这些大坑的背后，**。** 阅读详情

Python数据分析实战

后端转 Rust 的萌新，ID "第一程序员"——名字大，人很菜（暂时）。正在跟所有权和生命周期死磕，日常记录 Rust 学习路上的踩坑经验和"啊哈时刻"，代码片段保证能跑。保持学习，保持输出。欢迎大佬们轻喷，也欢迎同好一起进步。

前言

最近在学习数据科学的过程中，我开始接触 Python 数据分析。作为一个从后端转 Rust 的萌新，我认为数据分析是 Python 的一个重要应用领域，它可以帮助我们从数据中提取有价值的信息。

Python 拥有丰富的数据分析库，如 Pandas、NumPy、Matplotlib 等，这些库使得数据分析变得更加简单和高效。今天，我就来分享一下 Python 数据分析的实战经验，希望能帮到和我一样的萌新们。

环境搭建

首先，我们需要搭建 Python 数据分析的环境。推荐使用 Anaconda 来管理 Python 环境，因为它包含了许多常用的数据分析库。

1. 安装 Anaconda

可以从 Anaconda 官网下载并安装 Anaconda。

2. 创建虚拟环境

使用 Anaconda 创建一个专门用于数据分析的虚拟环境：

conda create -n data-analysis python=3.8
conda activate data-analysis

3. 安装必要的库

pip install pandas numpy matplotlib seaborn scikit-learn jupyter

数据获取

在进行数据分析之前，我们需要获取数据。数据可以来自多个渠道，如 CSV 文件、数据库、API 等。

1. 从 CSV 文件读取数据

import pandas as pd

# 读取 CSV 文件
df = pd.read_csv('data.csv')

# 查看数据的前几行
print(df.head())

# 查看数据的基本信息
print(df.info())

# 查看数据的统计信息
print(df.describe())

2. 从数据库读取数据

import pandas as pd
import sqlite3

# 连接到数据库
conn = sqlite3.connect('database.db')

# 读取数据
df = pd.read_sql('SELECT * FROM table', conn)

# 关闭连接
conn.close()

3. 从 API 获取数据

import pandas as pd
import requests

# 发送请求
response = requests.get('https://api.example.com/data')

# 解析数据
data = response.json()

# 转换为 DataFrame
df = pd.DataFrame(data)

数据清洗

数据清洗是数据分析的重要步骤，它可以确保数据的质量和一致性。

1. 处理缺失值

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 检查缺失值
print(df.isnull().sum())

# 删除包含缺失值的行
df = df.dropna()

# 填充缺失值
df = df.fillna(0)  # 用 0 填充

# 用均值填充缺失值
df['column'] = df['column'].fillna(df['column'].mean())

2. 处理重复值

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 检查重复值
print(df.duplicated().sum())

# 删除重复值
df = df.drop_duplicates()

3. 处理异常值

import pandas as pd
import numpy as np

# 读取数据
df = pd.read_csv('data.csv')

# 使用 IQR 方法检测异常值
Q1 = df['column'].quantile(0.25)
Q3 = df['column'].quantile(0.75)
IQR = Q3 - Q1

# 定义异常值的边界
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 过滤异常值
df = df[(df['column'] >= lower_bound) & (df['column'] <= upper_bound)]

数据探索

数据探索是数据分析的重要步骤，它可以帮助我们了解数据的分布和特征。

1. 基本统计分析

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 查看数据的基本统计信息
print(df.describe())

# 查看分类变量的分布
print(df['category'].value_counts())

# 查看相关系数
print(df.corr())

2. 数据可视化

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 设置中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 读取数据
df = pd.read_csv('data.csv')

# 直方图
plt.figure(figsize=(10, 6))
sns.histplot(df['value'], bins=30)
plt.title('值的分布')
plt.xlabel('值')
plt.ylabel('频率')
plt.show()

# 散点图
plt.figure(figsize=(10, 6))
sns.scatterplot(x='x', y='y', data=df)
plt.title('x 和 y 的关系')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

# 箱线图
plt.figure(figsize=(10, 6))
sns.boxplot(x='category', y='value', data=df)
plt.title('不同类别的值分布')
plt.xlabel('类别')
plt.ylabel('值')
plt.show()

# 热力图
plt.figure(figsize=(10, 8))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
plt.title('相关系数热力图')
plt.show()

数据处理

数据处理是数据分析的重要步骤，它可以帮助我们转换和整合数据，为后续的分析做准备。

1. 数据转换

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 转换数据类型
df['date'] = pd.to_datetime(df['date'])
df['value'] = df['value'].astype(float)

# 重命名列
df = df.rename(columns={'old_name': 'new_name'})

# 添加新列
df['new_column'] = df['column1'] + df['column2']

# 应用函数
df['new_column'] = df['column'].apply(lambda x: x * 2)

2. 数据分组和聚合

import pandas as pd

# 读取数据
df = pd.read_csv('data.csv')

# 分组统计
grouped = df.groupby('category')
print(grouped['value'].mean())
print(grouped['value'].sum())
print(grouped['value'].count())

# 多维度分组
grouped = df.groupby(['category', 'subcategory'])
print(grouped['value'].mean())

# 聚合多个统计量
grouped = df.groupby('category').agg({
    'value': ['mean', 'sum', 'count'],
    'other_column': ['max', 'min']
})
print(grouped)

3. 数据合并

import pandas as pd

# 读取数据
df1 = pd.read_csv('data1.csv')
df2 = pd.read_csv('data2.csv')

# 合并数据
merged_df = pd.merge(df1, df2, on='id', how='inner')

# 连接数据
concatenated_df = pd.concat([df1, df2])

实战案例：销售数据分析

让我们通过一个实战案例来了解 Python 数据分析的完整流程。我们将分析一家电商平台的销售数据，找出销售趋势和产品表现。

1. 数据获取

import pandas as pd

# 读取销售数据
sales_data = pd.read_csv('sales.csv')

# 查看数据的基本信息
print(sales_data.info())
print(sales_data.head())

2. 数据清洗

import pandas as pd

# 读取销售数据
sales_data = pd.read_csv('sales.csv')

# 处理缺失值
sales_data = sales_data.dropna()

# 处理重复值
sales_data = sales_data.drop_duplicates()

# 转换数据类型
sales_data['order_date'] = pd.to_datetime(sales_data['order_date'])
sales_data['sales'] = sales_data['sales'].astype(float)
sales_data['quantity'] = sales_data['quantity'].astype(int)

# 检查数据
print(sales_data.info())

3. 数据探索

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 设置中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 读取销售数据
sales_data = pd.read_csv('sales.csv')
sales_data['order_date'] = pd.to_datetime(sales_data['order_date'])

# 销售趋势分析
sales_data['month'] = sales_data['order_date'].dt.to_period('M')
monthly_sales = sales_data.groupby('month')['sales'].sum()

plt.figure(figsize=(12, 6))
monthly_sales.plot(kind='line')
plt.title('月度销售趋势')
plt.xlabel('月份')
plt.ylabel('销售额')
plt.grid(True)
plt.show()

# 产品销售分析
product_sales = sales_data.groupby('product_id')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
product_sales.head(10).plot(kind='bar')
plt.title('Top 10 产品销售额')
plt.xlabel('产品 ID')
plt.ylabel('销售额')
plt.xticks(rotation=45)
plt.show()

# 地区销售分析
region_sales = sales_data.groupby('region')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
region_sales.plot(kind='pie', autopct='%1.1f%%')
plt.title('地区销售分布')
plt.ylabel('')
plt.show()

# 客户购买行为分析
customer_sales = sales_data.groupby('customer_id')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
sns.histplot(customer_sales, bins=50)
plt.title('客户购买金额分布')
plt.xlabel('购买金额')
plt.ylabel('客户数量')
plt.show()

4. 数据处理和分析

import pandas as pd

# 读取销售数据
sales_data = pd.read_csv('sales.csv')
sales_data['order_date'] = pd.to_datetime(sales_data['order_date'])

# 计算每个产品的平均单价
sales_data['unit_price'] = sales_data['sales'] / sales_data['quantity']

# 分析每个产品的销售情况
product_analysis = sales_data.groupby('product_id').agg({
    'sales': 'sum',
    'quantity': 'sum',
    'unit_price': 'mean',
    'order_id': 'nunique'
}).rename(columns={'order_id': 'order_count'})

# 计算每个产品的销售频率
product_analysis['sales_frequency'] = product_analysis['order_count'] / product_analysis['quantity']

# 分析每个地区的销售情况
region_analysis = sales_data.groupby('region').agg({
    'sales': 'sum',
    'quantity': 'sum',
    'order_id': 'nunique',
    'customer_id': 'nunique'
}).rename(columns={'order_id': 'order_count', 'customer_id': 'customer_count'})

# 计算每个地区的平均订单金额
region_analysis['avg_order_value'] = region_analysis['sales'] / region_analysis['order_count']

# 分析每个客户的购买情况
customer_analysis = sales_data.groupby('customer_id').agg({
    'sales': 'sum',
    'quantity': 'sum',
    'order_id': 'nunique'
}).rename(columns={'order_id': 'order_count'})

# 计算每个客户的平均订单金额
customer_analysis['avg_order_value'] = customer_analysis['sales'] / customer_analysis['order_count']

# 查看结果
print(product_analysis.head())
print(region_analysis.head())
print(customer_analysis.head())

5. 结果可视化

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 设置中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 读取销售数据
sales_data = pd.read_csv('sales.csv')
sales_data['order_date'] = pd.to_datetime(sales_data['order_date'])

# 销售趋势分析
sales_data['month'] = sales_data['order_date'].dt.to_period('M')
monthly_sales = sales_data.groupby('month')['sales'].sum()

plt.figure(figsize=(12, 6))
monthly_sales.plot(kind='line')
plt.title('月度销售趋势')
plt.xlabel('月份')
plt.ylabel('销售额')
plt.grid(True)
plt.savefig('monthly_sales.png')
plt.show()

# 产品销售分析
product_sales = sales_data.groupby('product_id')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
product_sales.head(10).plot(kind='bar')
plt.title('Top 10 产品销售额')
plt.xlabel('产品 ID')
plt.ylabel('销售额')
plt.xticks(rotation=45)
plt.savefig('top_10_products.png')
plt.show()

# 地区销售分析
region_sales = sales_data.groupby('region')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
region_sales.plot(kind='pie', autopct='%1.1f%%')
plt.title('地区销售分布')
plt.ylabel('')
plt.savefig('region_sales.png')
plt.show()

# 客户购买行为分析
customer_sales = sales_data.groupby('customer_id')['sales'].sum().sort_values(ascending=False)

plt.figure(figsize=(12, 6))
sns.histplot(customer_sales, bins=50)
plt.title('客户购买金额分布')
plt.xlabel('购买金额')
plt.ylabel('客户数量')
plt.savefig('customer_sales_distribution.png')
plt.show()