python爬虫框架scarpy之AttributeError: module 'scrapy' has no attribute 'spider'

最新推荐文章于 2023-11-22 18:04:35 发布

原创最新推荐文章于 2023-11-22 18:04:35 发布 · 6.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #scrapy

python，爬虫，基础知识同时被 2 个专栏收录

5 篇文章

订阅专栏

python，爬虫，scrapy

4 篇文章

订阅专栏

本文介绍了一次使用Scrapy框架进行爬虫开发的经历，作者在遇到运行错误后，通过更新Spider类的定义解决了问题，从旧写法class PpdSpider(scrapy.spider)更改为class Paipaidai(Spider)，最终成功运行。

用scrapy的spider做爬虫，发现运行有问题。

源码：

import scrapy

class PpdSpider(scrapy.spider):
  name='PpdSpider'
  start_url=['http://www.dailianmeng.com/p2pblacklist/index.html']

  def parse(self,response):
      XXXX

报错：

查了下，好像是写法比较旧，换新写法：

from scrapy.spider import Spider

class Paipaidai(Spider):
  name='Paipaidai'
  start_url=['http://www.dailianmeng.com/p2pblacklist/index.html']

  def parse(self,response):

运行通过