python ImportError: No module named spiders

最新推荐文章于 2023-11-23 15:12:05 发布
最新推荐文章于 2023-11-23 15:12:05 发布
阅读量3.5k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35938548/article/details/81542707
本文分享了在运行Python爬虫项目时遇到的一个常见问题——因spiders文件夹下缺失__init__.py文件而导致的ImportError。通过添加该文件解决了模块无法被正确识别的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

临时接过一个以前同事写的python爬虫项目，因为接触python也不多，更是第一次接触python爬虫。

在运行项目时，报错：
ImportError: No module named spides

找了半天原因，最后才发现
项目中spiders文件夹下缺少__init__.py文件
__init__.py文件

这个__init__.py文件虽然是个空文件，但却是必不可少的。
当然tutorial文件夹下的__init__.py 也是不能少的

ImportError: No module named spiders
黄晓伟
12-23 9364
scrapy  入门教程中，有个dirbot 实例，地址：https://github.com/scrapy/dirbot 直接运行会报错： [@DEV-1-242 dirbot-master]$ scrapy crawl  dmoz ...     submod = import_module(fullpath)   File "/data/server/python-2.7.6/li
scrapy实现分布式爬虫以及布隆过滤器，scrapy-redis所遇到的问题，终端进入虚拟环境
weixin_47481982的博客
11-05 991
记录一下scrapy实现分布式爬虫以及布隆过滤器的使用：所用版本： pip install scrapy==2.5.1 pip install scrapy-redis==0.7.2 版本问题，有的版本过高会导致scrapy-redis无法正常使用，卸载安装过的库只需要执行命令pip uninstall scrapy即可卸载其他同理。 报错：from collections import Iterable Im
Python Scrapy爬虫框架的安装和使用测试（解决 error: no moudle named Spider问题）
丑小鸭
05-19 3669
Scrapy 是Python中的一个爬虫框架，下面以64位 win10+python3.5为基础，进行安装Scrapy框架。1 安装Scrapy的依赖包：1) lxml-4.2.1-cp35-cp35m-win_amd64.whl ，          2) pywin32‑223‑cp35‑cp35m‑win_amd64.whl , 3 )Twisted-18.4.0-cp35-cp35m-wi...
Python爬虫：Scrapy报错：ModuleNotFoundError: No module named ‘scrapy.spider‘
Yummy的博客
10-10 7969
项目场景： 今天，开始自学Python爬虫Scrapy框架的知识点，前期已pip install Scrapy安装好Scrapy了，可是在开始按书本敲个简单代码时，居然报错辽。 问题描述： 提示：第一行导入spider时报错了。 原因分析： 提示：返回第一行重新导入，导入时自动显示.spiders 而没有.spider 分析：应该是书本所用到的是属于比较老的版本（本人：JetBrains PyCharm Professional Edition with Anaconda plugin.
python爬虫导入自己事先定义好的配置文件，在服务器运行出现ImportError: No module named 'a005_BanGuMi_spider_subject' 错误
liumangjuntuan的博客
07-09 482
原有的爬虫配置文件导包如下：# coding=utf-8 import requests # 自己定义的文件配置 from a005_BanGuMi_spider_subject import BanGuMi_Subject_Spider_Config from lxml import etree from retrying import retry import json # 自己定义的方法 f...
spyder中Import Error: no module named 'past'解决方法
GUANYX的博客
10-28 3361
spyder下运行一个项目，代码没错，但是报了Import Error: no module named 'past'的错误。我是安装了anaconda/tensorflow/keras一套的环境；python3.5。 遇到这个错误查到了好的解决方案。记录一下。 错误： 解决方案，在anaconda prompt下输入命令pip3 install future  spyder错误解决...
(scrapy_env) C:\Users\Lenovo\nepu_spider>scrapy crawl nepu Traceback (most recent call last): File "D:\annaCONDA\Scripts\scrapy-script.py", line 10, in <module> sys.exit(execute()) ^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\cmdline.py", line 157, in execute cmd.crawler_process = CrawlerProcess(settings) ^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 318, in __init__ super().__init__(settings) File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 190, in __init__ self.spider_loader = self._get_spider_loader(settings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 184, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 69, in from_settings return cls(settings) ^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 24, in __init__ self._load_all_spiders() File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 53, in _load_all_spiders for module in walk_modules(name): ^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\utils\misc.py", line 87, in walk_modules submod = import_module(fullpath) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\importlib\__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1204, in _gcd_import File "<frozen importlib._bootstrap>", line 1176, in _find_and_load File "<frozen importlib._bootstrap>", line 1147, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 690, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 940, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "C:\Users\Lenovo\nepu_spider\nepu_spider\spiders\nepu.py", line 2, in <module> from nepu_Spider.items import NepuSpiderItem # 导入定义好的 Item ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ModuleNotFoundError: No module named 'nepu_Spider' (scrapy_env) C:\Users\Lenovo\nepu_spider>scrapy crawl nepu Traceback (most recent call last): File "D:\annaCONDA\Scripts\scrapy-script.py", line 10, in <module> sys.exit(execute()) ^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\cmdline.py", line 157, in execute cmd.crawler_process = CrawlerProcess(settings) ^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 318, in __init__ super().__init__(settings) File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 190, in __init__ self.spider_loader = self._get_spider_loader(settings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\crawler.py", line 184, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 69, in from_settings return cls(settings) ^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 24, in __init__ self._load_all_spiders() File "D:\annaCONDA\Lib\site-packages\scrapy\spiderloader.py", line 53, in _load_all_spiders for module in walk_modules(name): ^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\site-packages\scrapy\utils\misc.py", line 87, in walk_modules submod = import_module(fullpath) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\annaCONDA\Lib\importlib\__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1204, in _gcd_import File "<frozen importlib._bootstrap>", line 1176, in _find_and_load File "<frozen importlib._bootstrap>", line 1147, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 690, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 940, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "C:\Users\Lenovo\nepu_spider\nepu_spider\spiders\nepu.py", line 3, in <module> from nepu_spider.items import NewsItem ImportError: cannot import name 'NewsItem' from 'nepu_spider.items' (C:\Users\Lenovo\nepu_spider\nepu_spider\items.py)
最新发布
07-05
ModuleNotFoundError: No module named 'nepu_Spider' ``` ### ❓ 原因： Python 的模块名区分大小写，并且必须与你的项目文件夹名完全一致。如果你的项目文件夹是 `nepu_spider`（全小写），但你在代码中写了 `...
Traceback (most recent call last): File "E:\paper\steam\spiders\spider.py", line 10, in <module> from utils.query import querys File "E:\paper\steam\utils\query.py", line 3, in <module> conn = connect(host='localhost', user='root', password='r
03-20
` 或者 `ModuleNotFoundError: No module named 'torch'` 的错误时，通常是因为环境配置不正确或者某些依赖未被正确安装。 以下是针对此类问题的具体分析和解决方案： #### 1. **DLL 文件缺失** 如果提示找不到...
python的scrapy爬虫——豆瓣电影top250爬虫练习——保存到CVS文件
hhyiyuanyu的博客
05-04 1658
xxx\doubanmovie\doubanmovie\items# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://doc.scrapy.org/en/latest/topics/items.html # import scrap...
2025-06-29 10:48:57 [scrapy.utils.log] INFO: Scrapy 2.13.2 started (bot: scrapybot) 2025-06-29 10:48:57 [scrapy.utils.log] INFO: Versions: {'lxml': '5.4.0', 'libxml2': '2.11.9', 'cssselect': '1.3.0', 'parsel': '1.10.0', 'w3lib': '2.3.1', 'Twisted': '25.5.0', 'Python': '3.9.23 (main, Jun 5 2025, 13:25:08) [MSC v.1929 64 bit (AMD64)]', 'pyOpenSSL': '25.1.0 (OpenSSL 3.5.0 8 Apr 2025)', 'cryptography': '45.0.4', 'Platform': 'Windows-10-10.0.22631-SP0'} Traceback (most recent call last): File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\spiderloader.py", line 106, in load return self._spiders[spider_name] KeyError: 'taobao_spider' During handling of the above exception, another exception occurred: Traceback (most recent call last): File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\runpy.py", line 197, in _run_module_as_main return _run_code(code, main_globals, None, File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\runpy.py", line 87, in _run_code exec(code, run_globals) File "C:\Users\黎晓容\.conda\envs\pythonProject8\Scripts\scrapy.exe\__main__.py", line 7, in <module> File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\cmdline.py", line 205, in execute _run_print_help(parser, _run_command, cmd, args, opts) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\cmdline.py", line 158, in _run_print_help func(*a, **kw) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\cmdline.py", line 213, in _run_command cmd.run(args, opts) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\commands\crawl.py", line 33, in run crawl_defer = self.crawler_process.crawl(spname, **opts.spargs) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\crawler.py", line 338, in crawl crawler = self.create_crawler(crawler_or_spidercls) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\crawler.py", line 374, in create_crawler return self._create_crawler(crawler_or_spidercls) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\crawler.py", line 458, in _create_crawler spidercls = self.spider_loader.load(spidercls) File "C:\Users\黎晓容\.conda\envs\pythonProject8\lib\site-packages\scrapy\spiderloader.py", line 108, in load raise KeyError(f"Spider not found: {spider_name}") KeyError: 'Spider not found: taobao_spider'
06-30
| `No module named` | 检查 `spiders/__init__.py` 导入语句 | | 无错误但无输出 | 运行 `scrapy list` 确认爬虫存在 | ### 完整排查流程图 ```mermaid graph TD A[报错 Spider not found] --> B{检查爬虫位置}...
ImportError: No module named items
penglei0901的专栏
06-05 4156
spiders 目录中的.py文件不能和项目名同名。
python配置splinter时importerror: no module named six
weixin_33694620的博客
11-02 1084
2019独角兽企业重金招聘Python工程师标准>>> ...
scrapy报错NO module name 爬虫名
EaSoNgo111的博客
03-16 300
问题： 解决方法：
No module named “模块名“ 解决办法
qq_53808086的博客
11-23 6472
2.没有安装的话,好解决:pip install 模块名。import 模块名 #没有报错说明安装成功。打开cmd命令框,输入:pip list。exit() #退出python。pip list #再次检查。1.先确定自己是否安装 该模块。
scrapy报错：ModuleNotFoundError
weimingchao的博客
06-01 1735
解决报错：ModuleNotFoundError: No module named ‘myspider.myspider’ 报错信息如图： 将鼠标箭头放在红色波浪线后面按下AIt+Enter键出现上图信息 选择点击下面那个区域即可 如图自动在代码区域导入模块：（当然，完全可以手撸上去） 接下来运行起来就不会有报错信息了！ ...
Python:No module named问题详解
热门推荐
qq_44683653的博客
06-20 2万+
这里写目录标题一、sys.path问题二、模块和包导入问题三、模块的__name__ 一、sys.path问题 二、模块和包导入问题 三、模块的__name__
测试工具----Splinter安装环境的配置
京东放养的爬虫
12-10 2436
官方网址： http://splinter.cobrateam.info/     官方网址的install页面已经说的比较详细了，下面还是稍微简略说明：  1.     首先得安装好python，支持的版本是2.5-2.7，这里需要注意的是不支持3.0以上版本， http://www.python.org  2.     搭建splinter的测试环境，首要是需要的库和头
Python常用小知识点汇总
Python单行客的博客
01-14 245
Python常用小知识点汇总
ImportError: No module named 'ddt'
12-24
根据提供的引用内容，出现了两个不同的错误信息，分别是"ImportError: No module named setuptools"和"ImportError: No module named 'unittest2'"。这两个错误都是由于缺少相应的Python模块导致的。 对于第一个...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值