python ImportError: No module named spiders

最新推荐文章于 2023-11-23 15:12:05 发布
原创 最新推荐文章于 2023-11-23 15:12:05 发布 · 3.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了在运行Python爬虫项目时遇到的一个常见问题——因spiders文件夹下缺失__init__.py文件而导致的ImportError。通过添加该文件解决了模块无法被正确识别的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

临时接过一个以前同事写的python爬虫项目，因为接触python也不多，更是第一次接触python爬虫。

在运行项目时，报错：
ImportError: No module named spides

找了半天原因，最后才发现
项目中spiders文件夹下缺少__init__.py文件
__init__.py文件

这个__init__.py文件虽然是个空文件，但却是必不可少的。
当然tutorial文件夹下的__init__.py 也是不能少的

ImportError: No module named spiders
黄晓伟
12-23 9369
scrapy  入门教程中，有个dirbot 实例，地址：https://github.com/scrapy/dirbot 直接运行会报错： [@DEV-1-242 dirbot-master]$ scrapy crawl  dmoz ...     submod = import_module(fullpath)   File "/data/server/python-2.7.6/li
测试工具----Splinter安装环境的配置
京东放养的爬虫
12-10 2438
官方网址： http://splinter.cobrateam.info/     官方网址的install页面已经说的比较详细了，下面还是稍微简略说明：  1.     首先得安装好python，支持的版本是2.5-2.7，这里需要注意的是不支持3.0以上版本， http://www.python.org  2.     搭建splinter的测试环境，首要是需要的库和头
Python Scrapy爬虫框架的安装和使用测试（解决 error: no moudle named Spider问题）
丑小鸭
05-19 3672
Scrapy 是Python中的一个爬虫框架，下面以64位 win10+python3.5为基础，进行安装Scrapy框架。1 安装Scrapy的依赖包：1) lxml-4.2.1-cp35-cp35m-win_amd64.whl ，          2) pywin32‑223‑cp35‑cp35m‑win_amd64.whl , 3 )Twisted-18.4.0-cp35-cp35m-wi...
Python爬虫：Scrapy报错：ModuleNotFoundError: No module named ‘scrapy.spider‘
Yummy的博客
10-10 7972
项目场景： 今天，开始自学Python爬虫Scrapy框架的知识点，前期已pip install Scrapy安装好Scrapy了，可是在开始按书本敲个简单代码时，居然报错辽。 问题描述： 提示：第一行导入spider时报错了。 原因分析： 提示：返回第一行重新导入，导入时自动显示.spiders 而没有.spider 分析：应该是书本所用到的是属于比较老的版本（本人：JetBrains PyCharm Professional Edition with Anaconda plugin.
python爬虫导入自己事先定义好的配置文件，在服务器运行出现ImportError: No module named 'a005_BanGuMi_spider_subject' 错误
liumangjuntuan的博客
07-09 484
原有的爬虫配置文件导包如下：# coding=utf-8 import requests # 自己定义的文件配置 from a005_BanGuMi_spider_subject import BanGuMi_Subject_Spider_Config from lxml import etree from retrying import retry import json # 自己定义的方法 f...
spyder中Import Error: no module named 'past'解决方法
GUANYX的博客
10-28 3362
spyder下运行一个项目，代码没错，但是报了Import Error: no module named 'past'的错误。我是安装了anaconda/tensorflow/keras一套的环境；python3.5。 遇到这个错误查到了好的解决方案。记录一下。 错误： 解决方案，在anaconda prompt下输入命令pip3 install future  spyder错误解决...
ImportError: No module named items
penglei0901的专栏
06-05 4156
spiders 目录中的.py文件不能和项目名同名。
python配置splinter时importerror: no module named six
weixin_33694620的博客
11-02 1084
2019独角兽企业重金招聘Python工程师标准>>> ...
scrapy报错NO module name 爬虫名
EaSoNgo111的博客
03-16 301
问题： 解决方法：
No module named “模块名“ 解决办法
qq_53808086的博客
11-23 6478
2.没有安装的话,好解决:pip install 模块名。import 模块名 #没有报错说明安装成功。打开cmd命令框,输入:pip list。exit() #退出python。pip list #再次检查。1.先确定自己是否安装 该模块。
scrapy报错：ModuleNotFoundError
weimingchao的博客
06-01 1737
解决报错：ModuleNotFoundError: No module named ‘myspider.myspider’ 报错信息如图： 将鼠标箭头放在红色波浪线后面按下AIt+Enter键出现上图信息 选择点击下面那个区域即可 如图自动在代码区域导入模块：（当然，完全可以手撸上去） 接下来运行起来就不会有报错信息了！ ...
Python:No module named问题详解
热门推荐
qq_44683653的博客
06-20 2万+
这里写目录标题一、sys.path问题二、模块和包导入问题三、模块的__name__ 一、sys.path问题 二、模块和包导入问题 三、模块的__name__
Python常用小知识点汇总
Python单行客的博客
01-14 246
Python常用小知识点汇总
scrapy遇到的常见错误
何必说
08-01 1129
(1)Unknown command: crawl 原因：没有cd到项目根目录，因为crawl会去搜搜cmd目录下的scrapy.cfg，找不到就会报错   （2）ModuleNotFoundError: No module named 'JobSpider.settings' 原因：从spiders没有自动生成爬虫文件，我这里是从外面拖进去的，最初生错了位置，最有力的解决方式就是删除项目...
Fatal Python error: Py_Initialize: unable to load the file system codec. ImportError: No module name
weixin_42051799的博客
11-29 3197
Fatal Python error: Py_Initialize: unable to load the file system codec. ImportError: No module named 'encodings' 解决方法： 1.找自己电脑上有没有其他版本的Python，如果有就卸载删除，或者不删除，但是要去环境变量那边把对应的环境路径删除，保留最新安装的。 2.打开你安装py...
python scrapy 爬虫ImportError: No module named items
YMD8005的专栏
09-22 4393
python scrapy 爬虫ImportError: No module named items
python : ImportError: No module named '****'
从零开始
09-30 6812
举例如下： ImportError: No module named 'demjson' 使用pip安装demjson模块 pip install demjson 安装成功如下图。
Python获取Google sheet中的内容
简言
08-06 1万+
google 提供了各种API供开发者使用，之前介绍了map api的简单用法，这里介绍下googlesheet的api简单用法。
(scrapy_env) C:\Users\Lenovo\nepu_spider>scrapy crawl nepu Traceback (most recent call last): File "D:\annaCONDA\Scripts\scrapy-script.py", line 10, in <module> sys.exit(execute()) ^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\cmdline.py", line 157, in execute cmd.crawler_process = CrawlerProcess(settings) ^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 318, in __init__ super().__init__(settings) File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 190, in __init__ self.spider_loader = self._get_spider_loader(settings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 184, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 69, in from_settings return cls(settings) ^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 24, in __init__ self._load_all_spiders() File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 53, in _load_all_spiders for module in walk_modules(name): ^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\utils\misc.py", line 87, in walk_modules submod = import_module(fullpath) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\importlib\__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1204, in _gcd_import File "<frozen importlib._bootstrap>", line 1176, in _find_and_load File "<frozen importlib._bootstrap>", line 1147, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 690, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 940, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "C:\Users\Lenovo\nepu_spider\nepu_spider\spiders\nepu.py", line 2, in <module> from nepu_Spider.items import NepuSpiderItem # 导入定义好的 Item ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ModuleNotFoundError: No module named 'nepu_Spider' (scrapy_env) C:\Users\Lenovo\nepu_spider>scrapy crawl nepu Traceback (most recent call last): File "D:\annaCONDA\Scripts\scrapy-script.py", line 10, in <module> sys.exit(execute()) ^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\cmdline.py", line 157, in execute cmd.crawler_process = CrawlerProcess(settings) ^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 318, in __init__ super().__init__(settings) File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 190, in __init__ self.spider_loader = self._get_spider_loader(settings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 184, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 69, in from_settings return cls(settings) ^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 24, in __init__ self._load_all_spiders() File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 53, in _load_all_spiders for module in walk_modules(name): ^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\utils\misc.py", line 87, in walk_modules submod = import_module(fullpath) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\importlib\__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1204, in _gcd_import File "<frozen importlib._bootstrap>", line 1176, in _find_and_load File "<frozen importlib._bootstrap>", line 1147, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 690, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 940, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "C:\Users\Lenovo\nepu_spider\nepu_spider\spiders\nepu.py", line 3, in <module> from nepu_spider.items import NewsItem ImportError: cannot import name 'NewsItem' from 'nepu_spider.items' (C:\Users\Lenovo\nepu_spider\nepu_spider\items.py)
最新发布
07-05
ModuleNotFoundError: No module named 'nepu_Spider' ``` ### ❓ 原因： Python 的模块名区分大小写，并且必须与你的项目文件夹名完全一致。如果你的项目文件夹是 `nepu_spider`（全小写），但你在代码中写了 `...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值