六.scrapy crawlspider

最新推荐文章于 2023-05-25 15:11:29 发布

原创最新推荐文章于 2023-05-25 15:11:29 发布 · 753 阅读

0 ·

CC 4.0 BY-SA版权

python scrapy爬虫专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架实现的搜狐新闻爬虫项目。通过创建项目、定义爬虫类及解析规则，爬虫能够自动抓取搜狐网站上的新闻链接并打印出来。文中详细展示了爬虫项目的搭建过程和核心代码。

一.理论逻辑图

二.创建项目

scrapy startproject mycrawl

cd mycrawl

scrapy genspider -t crawl mycrawlspider sohu.com

#codoing:utf-8
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class WeisuenSpider(CrawlSpider):
    name = 'mycrawlspider'
    allowed_domains = ['sohu.com']
    start_urls = ['http://sohu.com/']

    rules = (
        Rule(LinkExtractor(allow=(r'.shtml',),allow_domains=('sohu.com',)), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        print response.url