网络爬虫系列（5）：数据存储与分析

最新推荐文章于 2025-07-22 15:41:20 发布

原创最新推荐文章于 2025-07-22 15:41:20 发布 · 1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #python #爬虫

网路爬虫系列专栏收录该内容

5 篇文章

订阅专栏

网络爬虫系列（5）：数据存储与分析

在网络爬虫开发过程中，抓取到的数据最终需要存储并进行分析。本篇文章将介绍常用的存储方式以及如何对抓取的数据进行简单的分析与处理。

1. 数据存储方式

在爬虫抓取数据时，我们可以选择不同的存储方式。常见的存储方式包括：文本文件、CSV文件、数据库等。

1.1 存储为CSV文件

CSV（Comma Separated Values）文件是一种简单的文本格式，适合存储结构化数据。我们可以使用pandas库来将抓取的数据保存为CSV文件。

代码示例：

import requests
import pandas as pd
from bs4 import BeautifulSoup

# 假设我们抓取的网页内容是产品信息
url = "https://example.com/products"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 假设我们提取产品名称和价格
products = []
for product in soup.find_all('div', class_='product'):
    name = product.find('h2').text
    price = product.find('span', class_='price').text
    products.append([name, price])

# 将数据保存为DataFrame
df = pd.DataFrame(products, columns=['Product Name', 'Price'])

# 存储为CSV文件
df.to_csv('products.csv', index=False)
print("数据已成功保存为products.csv")

1.2 存储为数据库

对于大量的数据，使用数据库来存储是一个更为高效的选择。我们可以使用SQLite数据库，它是一个轻量级的关系型数据库，非常适合用于存储爬虫抓取的数据。

代码示例：

import sqlite3
import requests
from bs4 import BeautifulSoup

# 创建SQLite数据库连接
conn = sqlite3.connect('products.db')
cursor = conn.cursor()

# 创建表格
cursor.execute('''
CREATE TABLE IF NOT EXISTS Products (
    id INTEGER PRIMARY KEY,
    name TEXT,
    price TEXT
)
''')

# 抓取数据
url = "https://example.com/products"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 插入数据
for product in soup.find_all('div', class_='product'):
    name = product.find('h2').text
    price = product.find('span', class_='price').text
    cursor.execute("INSERT INTO Products (name, price) VALUES (?, ?)", (name, price))

# 提交并关闭连接
conn.commit()
conn.close()

print("数据已成功保存到SQLite数据库")

1.3 存储为JSON文件

对于结构较复杂或嵌套的数据，使用JSON格式存储是一个不错的选择。JSON格式具有良好的可读性，并且易于与其他系统进行交互。

代码示例：

import json
import requests
from bs4 import BeautifulSoup

# 假设我们抓取的是新闻信息
url = "https://example.com/news"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取新闻标题和链接
news_data = []
for news_item in soup.find_all('div', class_='news-item'):
    title = news_item.find('h2').text
    link = news_item.find('a')['href']
    news_data.append({"title": title, "link": link})

# 存储为JSON文件
with open('news_data.json', 'w', encoding='utf-8') as f:
    json.dump(news_data, f, ensure_ascii=False, indent=4)

print("数据已成功保存为news_data.json")

2. 数据分析与处理

在抓取并存储数据后，我们通常需要对这些数据进行进一步的分析与处理。使用pandas库可以非常方便地进行数据清洗、分析以及可视化。

2.1 数据清洗

在分析之前，往往需要对数据进行清洗。例如，去除重复数据、处理缺失值等。

代码示例：

import pandas as pd

# 从CSV文件加载数据
df = pd.read_csv('products.csv')

# 查看数据的前几行
print(df.head())

# 去除重复的产品
df.drop_duplicates(subset=['Product Name'], inplace=True)

# 处理缺失值
df.fillna('N/A', inplace=True)

# 将清洗后的数据保存为新的CSV文件
df.to_csv('cleaned_products.csv', index=False)
print("数据已清洗并保存为cleaned_products.csv")

2.2 数据分析

使用pandas的强大功能，我们可以对数据进行各种分析，例如计算价格的平均值、最贵的产品等。

代码示例：

# 加载清洗后的数据
df = pd.read_csv('cleaned_products.csv')

# 计算价格的平均值（假设价格是以美元为单位）
df['Price'] = df['Price'].replace({'\$': '', ',': ''}, regex=True).astype(float)
average_price = df['Price'].mean()
print(f"产品的平均价格为: ${average_price:.2f}")

# 查找最贵的产品
most_expensive_product = df.loc[df['Price'].idxmax()]
print(f"最贵的产品是: {most_expensive_product['Product Name']}, 价格为: ${most_expensive_product['Price']:.2f}")

2.3 数据可视化

通过matplotlib或seaborn等库，我们可以将数据进行可视化展示，以便更好地分析和呈现结果。

代码示例：

import matplotlib.pyplot as plt

# 假设我们已经有一个包含产品名称和价格的DataFrame
df = pd.read_csv('cleaned_products.csv')

# 绘制价格分布的直方图
plt.figure(figsize=(10, 6))
plt.hist(df['Price'], bins=20, color='skyblue', edgecolor='black')
plt.title('产品价格分布')
plt.xlabel('价格')
plt.ylabel('产品数量')
plt.grid(True)
plt.show()