使用scrapy模块编写爬虫，运行出现spider中 no moudle named ‘item’问题

最新推荐文章于 2023-04-02 14:32:58 发布
最新推荐文章于 2023-04-02 14:32:58 发布
阅读量1.2k 收藏 5
点赞数 1
分类专栏： scrapy 文章标签： python scrapy spider
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43836616/article/details/88208706
版权
本文探讨了在Scrapy项目中，蜘蛛名称与项目名称不一致导致的模块导入错误问题。提供了解决方案，包括调整项目设置及正确引用模块的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. spider的名称与项目名称不同，导致导入模块出错
  2. 确保路径 模块名称的正确性
  3. 如果是pycharm打开新建的scrapy项目，可以右键项目名->mark directory as->sources root
  4. 把import items 改为 from my_scrapy(你的项目名称) import items
【Python】【爬虫】【scrapy】运行spider时报No module named ‘attrs‘怎么办？
每日出拳老爷子的博客
11-26 2737
运行scrapy的spider脚本时报attrs模块缺失的快速解决方法。
python3[爬虫实战] 爬虫之scrapy爬取传智播客（我的奋斗我的路）
徐代龙的技术专栏
08-11 3037
我的奋斗我的路这里爬取的是传智播客大型学员征文活动，是一个个屌丝逆袭的成功故事这次主要爬取的是http://fendou.itcast.cn/article 下面的文章 包括： 1 目前排行 2 文章名称 3 作者 4 票数 5 支持Ta 6 查看刚刚看了一下，点赞排行版，到最后的一共是144文章，难怪我搞个for循环60，到14的时候都已经不
使用scrapy做爬虫遇到的一些坑：No module named items以及一些解决方案
热门推荐
weixin_41931602的博客
05-05 2万+
最近在学习scrapy，因为官方文档看着比较累，所以看着崔庆才老师写的博客来做：https://cuiqingcai.com/3472.html# -*- coding: utf-8 -*- import re import scrapy # 导入scrapy包 from bs4 import BeautifulSoup from scrapy.http import Request ##一个...
scrapy做爬虫时，导入Module的时候总显示no module named ×××.items
小M呀~之大数据系列
07-28 1004
报错情况： 原因：这是由于pycharm编辑器的原因，项目名称与爬虫文件夹名称一致，所以导包错误。 解决方法： 1.选中项目>>右键>>选择Mark directory as >> Source Root Mark directory as Source Root 表示如下 ...
scrapy 发生 No module named ‘items‘ 错误
shen__kang的博客
10-11 2042
在学习scrapy的时候发生 “No module named ‘items’” 错误,无法调用item.py文件中的类 import scrapy from items import StockstarItem,StockstarItemLoader 先找到网上有有一个方法 sys.path.append('../') from fatherdirname import xxx 试了一下没用 又继续寻找,找到了两个 一个: from ..items import StockstarItem,Stock
血的教训--No module named items
newfayi的博客
04-29 1236
提醒自己，千万不要把文件夹名和文件名取同1个名字，方法会调错。
ImportError: No module named items
niepangu的专栏
03-04 1516
原因：spider目录下的.py文件的名字跟项目的名字是一样的解决方法：将spider目录下的.py文件的名字更改为与项目不一样的名字
Scrapy 爬取伯乐在线
浅汐
10-08 669
项目介绍 使用Scrapy框架进行爬取伯乐在线的所有技术文章 所用知识点 Scrapy项目的创建 Scrapy框架Shell命令的使用 Scrapy自带的图片下载管道 Scrapy自定义图片下载管道(继承自带的管道) Scrapy框架ItemLoader的使用 Scrapy自定义ItemLoader Scrapy中同步将Item保存入Mysq数据库 Scrapy中异
解决ImportError: No module named items
weixin_37885245的博客
05-16 897
Scrapy项目中明明有items.py文件却提示“No module named items”？？？ 如果遇到这种情况，看看是不是你的spider.py文件和你的项目名同名了，是的话给spider改个名就好了。 因为python会试图从你的spider文件中找items文件。 就是这样。
python使用scrapy爬虫总是提示ModuleNotFoundError: No module named ‘‘
lumyzml的博客
11-04 7551
使用scrapy创建爬虫工程后，编译代码都是正常的，目录结构如下： 但用命令行执行的时候总是提示错误 参考论坛上的多种方法修改目录名，项目名，增加item的path路径均无效，最后无意发现在item前面加'..'成功解决！ 但这样直接编译会报错，通过命令行执行才能成功。 推断：被调用的py文件在上一级目录，需要在对象名称前加“..”。 参考文章： 文章一： 使用scrapy做爬虫遇到的一些坑：No module named items以及一些解决方案 https://blo..
Scrapyd部署项目后启动报错，无法找到模块No module named xxxx(已解决)
刘小义的博客
07-01 4577
Scrapyd部署项目后启动报错，无法找到模块No module named xxxx(已解决) 前置操作 爬虫本地测试无任何问题，正常部署到scrapyd中，无异常 报错 通过远程启动爬虫报错提示No module named xxxx 原因 scrapyd没有将文件/模块成功打包 通过查看爬虫目录下的project.egg-info(不同版本可能名字不同，但会有egg存在) 目录结构为以下 ....
scrapy报错：ModuleNotFoundError
weimingchao的博客
06-01 1728
解决报错：ModuleNotFoundError: No module named ‘myspider.myspider’ 报错信息如图： 将鼠标箭头放在红色波浪线后面按下AIt+Enter键出现上图信息 选择点击下面那个区域即可 如图自动在代码区域导入模块：（当然，完全可以手撸上去） 接下来运行起来就不会有报错信息了！ ...
scrapy 运行时报错 Scrapy ImportError: No module named jingdong.settings
lllunaticer的博客
10-19 2639
这个scrapy工程来源于https://www.cnblogs.com/cnkai/p/7569722.html 文件结构如下 下载了git在本地运行的时候报错 尝试了各种将jingdong这个项目加入python路径的方法都不管用 最后经大神指点，发现这个本地工程jingdong文件夹下缺少了__init__.py文件，如果一个文件夹缺少这个文件的话python将不能将其视作一...
scrapy框架运行报错ModuleNotFoundError: No module named ‘items‘
weixin_45774350的博客
03-30 4002
在文件中导入items里面的类时，报错， from items import FirstspiderItem ModuleNotFoundError: No module named ‘items’ 这是由于item相较于spiders下的文件为上一级目录中，所以在前面加上… from ..items import FirstspiderItem 原先报错的代码： from items import FirstspiderItem class MyscrapySpider(scrapy.Spider)
2021-07-05解决Pycharm中使用scrapy框架时出现 from .items import Item 报错
makabaka555的博客
07-05 1006
可能是你的根目录有问题 只需要改根目录，具体如下
PyCharm使用Scrapy导入items失败
Ikaros的博客
04-02 1671
PyCharm使用Scrapy导入items提示未找到
Scrapy ImportError: No module named items
bitcarmanlee的博客
03-25 9904
1.问题描述在执行scrapy crawl命令爬取数据的时候，代码报了以下错误：ImportError: No module named items但显然我们代码里面是有items这个类的。那问题出现在哪里呢？ 求助万能的stack overflow，发现正好有谈到这个问题。2.问题产生原因简单一句话来描述就是： 爬虫的名字跟项目的名字一样，导致最终导入的时候出错3.解决方案stackoverf
Scrapy的问题
u011414629的专栏
11-03 284
python scrapy 爬虫ImportError: No module named items spider名字和project项目名不相同 scrapy爬虫出现Forbidden by robots.txt 关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决 观察scrapy抓包时的输出就能发现，在请求我们设定的ur...
使用Scrapy框架编写爬虫访问网站。
最新发布
12-04
Scrapy是一个强大的Python网络爬虫框架，它设计用于高效地抓取网页数据并支持复杂的数据提取需求。以下是使用Scrapy编写爬虫的基本步骤： 1. **安装Scrapy**：首先确保你的Python环境已经安装了pip，然后通过命令行运行`pip install scrapy`进行安装。 2. **创建项目**：创建一个新的Scrapy项目，可以使用命令`scrapy startproject project_name`，这里替换为你的项目名。 3. **定义Spider**：在`spiders`文件夹下创建一个Python文件，例如`example_spider.py`。在这个文件中，你需要定义Spider类，包含名字、开始URL以及解析函数。例如： ```python import scrapy class ExampleSpider(scrapy.Spider): name = 'example' start_urls = ['http://www.example.com'] def parse(self, response): # 提取数据的代码会在这里 yield { 'title': response.css('h1::text').get(), 'links': response.css('a::attr(href)').getall() } ``` 4. **设置解析规则**：`response.css`和`response.xpath`用于选择HTML元素，yield语句用于返回需要保存的数据。 5. **配置settings.py**：在项目设置文件中，你可以配置下载延迟、中间件等选项。 6. **运行爬虫**：在命令行中，进入项目目录，运行`scrapy crawl example`来启动爬虫。 7. **数据处理**：Scrapy默认将抓取的数据存储到SQLite数据库，也可以配置其他的存储方式如MongoDB等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值