六.scrapy crawlspider

top_beyond

于 2017-07-04 21:51:57 发布

阅读量740

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python scrapy爬虫

本文链接：https://blog.youkuaiyun.com/beyond_f/article/details/74357539

python scrapy爬虫专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架实现的搜狐新闻爬虫项目。通过创建项目、定义爬虫类及解析规则，爬虫能够自动抓取搜狐网站上的新闻链接并打印出来。文中详细展示了爬虫项目的搭建过程和核心代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.理论逻辑图

二.创建项目

scrapy startproject mycrawl

cd mycrawl

scrapy genspider -t crawl mycrawlspider sohu.com

#codoing:utf-8
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class WeisuenSpider(CrawlSpider):
    name = 'mycrawlspider'
    allowed_domains = ['sohu.com']
    start_urls = ['http://sohu.com/']

    rules = (
        Rule(LinkExtractor(allow=(r'.shtml',),allow_domains=('sohu.com',)), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        print response.url