Python爬虫系列教程之第十五篇：爬取电商网站商品信息与数据分析

大家好，欢迎继续关注本系列爬虫教程！
在前面的文章中，我们已经学习了如何构建爬虫、如何应对反爬机制以及如何将数据存储到数据库或文件中。随着业务场景的不断扩展，电商网站的数据采集和分析已成为实际项目中非常重要的一环。

本篇博客我们将以电商网站中的图书信息为例（使用 Books to Scrape 这一专门用于爬虫练习的网站），详细介绍如何从网站中爬取商品信息，并利用数据清洗和数据分析技术对采集到的数据进行进一步处理和可视化展示。整篇文章将分为以下几个部分：

• 项目背景与目标介绍
• 使用 Requests 与 BeautifulSoup 爬取图书信息
• 数据存储：将爬取的数据保存为 CSV 文件
• 数据清洗与分析：利用 Pandas 进行数据处理和简单统计
• 数据可视化：使用 Matplotlib 绘制图表展示数据分布
• 总结与展望

---

1. 项目背景与目标

在实际的电商平台中，商品信息（如名称、价格、库存、评分等）是非常宝贵的数据资源。通过爬虫技术采集这些数据，并对数据进行清洗、统计与可视化分析，可以帮助我们了解商品的价格趋势、用户评价分布等信息，从而辅助业务决策或开展进一步的数据挖掘工作。

本项目的目标是：

• 爬取 Books to Scrape 网站中所有图书的基本信息
• 将采集的数据保存为 CSV 文件，便于后续处理
• 利用 Pandas 对数据进行清洗和简单的统计分析
• 绘制图表展示图书价格与评分的分布情况

---

2. 使用 Requests 与 BeautifulSoup 爬取图书信息

在本部分，我们将利用 Python 中的 requests 库发送 HTTP 请求，利用 BeautifulSoup 解析 HTML 页面，从目标网站中提取图书的标题、价格、库存状态以及评分信息。由于该网站采用分页显示图书，我们需要遍历所有页面，采集所有数据。

下面是完整的爬虫代码，代码中均附有详细的中文注释，帮助大家理解每一步操作。

import requests            # 用于发送HTTP请求
from bs4 import BeautifulSoup  # 用于解析HTML页面
import csv                 # 用于CSV文件读写

def scrape_books():
    """
    爬取Books to Scrape网站中所有图书的信息
    :return: 包含图书信息的列表，每个元素是一个字典，包含图书标题、价格、库存和评分
    """
    # 网站基础URL
    base_url = "http://books.toscrape.com/"
    # 初始页面，注意这里的第一页实际URL为catalogue/page-1.html