11、网页数据抓取：行为准则与挑战应对

网页数据抓取：行为准则与挑战应对

一、Scrapy爬虫基础实现

1.1 爬虫类定义

Scrapy爬虫通过定义一个类来实现，以下是一个简单示例：

import scrapy

class Spider(scrapy.Spider):
    name = 'spider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        # 查找CSS选择器 'div.prev-post > a' 并跟进链接
        pass

    @classmethod
    def close(cls, spider, reason):
        start_time = spider.crawler.stats.get_value('start_time')
        finish_time = spider.crawler.stats.get_value('finish_time')
        print("Total run time: ", finish_time - start_time)

这个爬虫类首先声明了爬虫的名称和起始URL， parse 方法用于查找特定的CSS选择器并跟进链接。 close 方法在爬虫完成时被调用，用于获取爬虫的开始和结束时间，并计算总运行时间。

1.2 直接运行脚本

如果要直接使用Python运行脚