python-CrawlSpider爬取名人名言

最新推荐文章于 2024-11-01 21:34:49 发布

YgBoom

最新推荐文章于 2024-11-01 21:34:49 发布

阅读量720

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： python 爬虫 mysql

本文链接：https://blog.youkuaiyun.com/thekingspath/article/details/111084911

爬虫专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架爬取名人名言网站的例子。通过定义爬虫类和规则，实现了自动抓取名言及其作者信息的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取名人名言(http://quotes.toscrape.com)

import scrapy
from scrapy.spiders import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor


class Quotes(CrawlSpider):
    name = 'quote'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    # 设定规则
    rules = (
        # 对于quotes内容页URL，调用parse_quotes处理
        # 并以此规则跟进获取的链接
        Rule(LinkExtractor(allow='/page/\d+'), callback='parse_quotes',follow=True),
        # 对于author内容页URL，调用parse_author处理，提取数据
        Rule(LinkExtractor(allow='/author/\w+'), callback='parse_author')
    )

    # 提取内容页数据方法
    def parse_quotes(self,response):
        for quote in response.css('.quote'):
            yield {
                'content':quote.css('.text::text').extract_first(),
                'author':quote.css('.author::text').extract_first(),
                'tegs':quote.css('.tag::text').extract()
            }

    # 获取作者数据方法
    def parse_author(self,response):
        name = response.css('.author-title::text').extract_first()
        author_born_date = response.css('.author_born_date::text').extract_first()
        author_born_location = response.css('.author_born_location::text').extract_first()
        author_description = response.css('.author_description::text').extract_first()

        return ({
            'name':name,
            'author_born_date':author_born_date,
            'author_born_location':author_born_location,
            'author_description':author_description
        })