使用binux/pyspider进行网页数据抓取：HTML与CSS选择器实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00252/article/details/148375662

使用binux/pyspider进行网页数据抓取：HTML与CSS选择器实战指南

pyspider A Powerful Spider(Web Crawler) System in Python. 项目地址: https://gitcode.com/gh_mirrors/py/pyspider

前言

在现代数据驱动的世界中，网页抓取（Web Scraping）已成为获取互联网公开数据的重要手段。binux/pyspider作为一个强大的Python爬虫框架，为开发者提供了高效便捷的网页抓取解决方案。本文将深入讲解如何使用pyspider框架，结合HTML结构和CSS选择器，实现精准的数据抓取。

网页抓取基础概念

在开始实战之前，我们需要理解几个核心概念：

网页结构：网页使用HTML（超文本标记语言）构建，包含各种标签和属性
HTTP协议：浏览器与服务器之间通过HTTP协议进行通信
URL定位：每个网页都有唯一的URL地址
CSS选择器：用于定位和选择HTML元素的强大工具

网页抓取的基本流程可以概括为：

确定包含目标数据的页面URL
通过HTTP获取页面内容
从HTML中提取所需信息
发现更多相关URL并重复上述过程

实战：IMDb电影数据抓取

1. 项目初始化

在pyspider中创建新项目后，我们需要设置起始URL。对于IMDb电影数据，我们可以选择包含大量电影链接的列表页：

@every(minutes=24*60)
def on_start(self):
    self.crawl('http://www.imdb.com/search/title?count=100&title_type=feature,tv_series,tv_movie',
               callback=self.index_page)

代码说明：

@every装饰器设置任务每天执行一次，确保获取最新电影
self.crawl方法发起请求并将响应交给index_page回调处理

2. 列表页解析

在列表页中，我们需要提取两类重要信息：

单个电影详情页的链接
下一页列表的链接

电影链接提取

使用正则表达式匹配电影详情页URL模式：

import re

def index_page(self, response):
    for each in response.doc('a[href^="http"]').items():
        if re.match("http://www.imdb.com/title/tt\d+/$", each.attr.href):
            self.crawl(each.attr.href, callback=self.detail_page)

下一页链接提取

pyspider提供了CSS选择器辅助工具，可以直观地生成选择器表达式：

启用CSS选择器辅助工具
鼠标悬停查看元素高亮
点击目标元素生成选择器
将选择器添加到代码中

对于分页导航，处理方式如下：

next_links = [x.attr.href for x in response.doc('#right a').items()]
self.crawl(next_links, callback=self.index_page)

3. 详情页数据提取

在电影详情页，我们需要提取具体信息如标题、评分、导演等。使用CSS选择器精准定位：

def detail_page(self, response):
    return {
        "url": response.url,
        "title": response.doc('.header > [itemprop="name"]').text(),
        "rating": response.doc('.star-box-giga-star').text(),
        "director": [x.text() for x in response.doc('[itemprop="director"] span').items()],
    }

选择器编写技巧：