Python爬虫实践-优快云博客

本文链接：https://blog.youkuaiyun.com/a22222222aaa/article/details/140374390

引言

数据分析是现代商业和科学研究中的重要工具。通过对数据的分析，可以从中提取有价值的信息，支持决策和创新。本文将介绍如何使用Python进行数据分析，并展示一个简单的实例。

工具和库

我们将使用以下工具和库：
- Pandas：用于数据操作和分析。
- Matplotlib 和 Seaborn：用于数据可视化。
- Jupyter Notebook：一个交互式编程环境，方便数据分析和展示。

如果没安装可以在 cmd 输入 pip install pandas matplotlib seaborn jupyter

数据集

我们将使用一个公开的示例数据集——`Titanic`数据集，它包含了泰坦尼克号乘客的信息，包括他们的生存情况、年龄、舱位等。

数据加载和预处理

首先，我们需要加载数据并进行初步的探索和预处理。

```python
import pandas as pd

# 加载数据集
url = 'https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv'
data = pd.read_csv(url)

# 显示数据的前5行
print(data.head())
```

### 数据探索

我们可以通过一些基本的统计信息和可视化手段来初步了解数据。

```python
# 查看数据集的信息
print(data.info())

# 统计各个列的基本统计信息
print(data.describe())

# 计算各个特征的缺失值数量
print(data.isnull().sum())
```

### 数据可视化

我们可以使用Matplotlib和Seaborn进行数据可视化，帮助我们更直观地了解数据。

```python
import matplotlib.pyplot as plt
import seaborn as sns

# 设置Seaborn的绘图风格
sns.set()

# 乘客生还情况分布
plt.figure(figsize=(10, 6))
sns.countplot(x='Survived', data=data)
plt.title('Survival Count')
plt.show()

# 年龄分布情况
plt.figure(figsize=(10, 6))
sns.histplot(data['Age'].dropna(), kde=True, bins=30)
plt.title('Age Distribution')
plt.show()

# 乘客舱位分布情况
plt.figure(figsize=(10, 6))
sns.countplot(x='Pclass', data=data)
plt.title('Passenger Class Distribution')
plt.show()
```

### 数据预处理

在分析和建模之前，我们需要处理缺失值和进行数据转换。

```python
# 填补缺失值
data['Age'].fillna(data['Age'].median(), inplace=True)
data['Embarked'].fillna(data['Embarked'].mode()[0], inplace=True)
data['Fare'].fillna(data['Fare'].median(), inplace=True)

# 删除无关特征
data.drop(['Cabin', 'Name', 'Ticket'], axis=1, inplace=True)

# 转换分类变量
data = pd.get_dummies(data, columns=['Sex', 'Embarked'], drop_first=True)

print(data.head())
```

### 数据分析和建模

现在我们可以进行一些简单的数据分析和建模。

```python
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, accuracy_score

# 特征和目标变量
X = data.drop('Survived', axis=1)
y = data['Survived']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))
print(classification_report(y_test, y_pred))