pycharm中打开scrapy项目，import scrapy报错问题

最新推荐文章于 2022-10-13 12:32:43 发布
原创 最新推荐文章于 2022-10-13 12:32:43 发布 · 6.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在PyCharm中为Python 3.6版本创建虚拟环境并配置Scrapy项目，解决因环境冲突导致的导入错误问题。文章详细说明了创建虚拟环境的方法、在虚拟环境中安装Scrapy的过程及配置PyCharm解释器的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    因为手头的Python项目有2.7，有3.6的，所以用scrapy时，我想根据python3.6单独做一个虚拟的环境，因此就使用了如下指令：virturalenv  scrapyPython3.6  (g:\scrapyPython3.6)

之后创建了我的scrapy项目    g:\scrapyDemo

但是安装scrapy时，我是在全局安装，也就是会默认的安装在Python36的安装路径下的script(windows版)下，这个时候通过pycharm打开scrapy，发现import scrapy会报错

原因如下：要看当前pycharm中File->settings->project:scrapyDemo ->project Interpreter中设置的环境中是否有scrapy，如果没有需要在此环境下安装scrapy，或者更换已经安装了scrapy的路径


解决方案如下：按照scrapy安装步骤依次在此虚拟环境中安装，安装步骤一样，只是安装时根目录需要是当前的虚拟环境下的scripts文件夹下，也可以使用project Interpreter中绿色的加号，边搜索边安装 


python爬虫--scrapy（初识）
qq_43710889的博客
03-28 1543
文章目录python爬虫--scrapy（初识）scrapy环境安装scrapy基本使用糗事百科数据解析 python爬虫–scrapy（初识） scrapy环境安装 因为我是同时安装anaconda和python3.7，所以在使用pip的时候总是会显示anaconda中已经安装（众所周知）。 PS：也有可能直接使用conda install scrapy就可以了（我没试） 出现这张图后，就说明已经安装完成
1.1 如何在Pycharm中使用Scrapy
theDataDiggers
11-06 713
打开 Terminal , 将 5 Scrapy 拖到 Terminal 上，即可进入到 5 Scrapy 的目录 新建Scrapy 项目：tutorial C:\Users\Jiangfeng\PycharmProjects\QSModel\5 Scrapy> scrapy startproject tutorial 新建之后，pycharm上展开 5 Scrapy 项目，可以看到你...
Python运行scrapy报错:ImportError: No module named win32api
fendo
04-14 9282
一、问题描述 运行scrapy项目就报错:ImportError: No module named win32api 找不到win32api模块。。。 二、解决方法 运行命令安装模块: pip install pypiwin32
pycharm import scrapy 报错，No module named 'scrapy'
weixin_34221773的博客
04-25 1110
本地通过下载 pip install scrapy安装成功后，在pychram里面 import scrapy报错 后来在找了各种解决方法，重装wheel，twisted，都不行，最后发现是需要改Project Interpreter 如图我的 python3.6项目默认安装路径在D盘，但是我新建的scrapy项目在C盘，所以一直import scrapy报错，在这里只要重新show...
运行Scrapy框架报错，无法import引用的问题
qq_43110834的博客
12-05 1565
你永远不知道一个学电气的为什么要费心思在学爬虫，记录一下初学爬虫遇到的一个无法引用类的问题。 关于相对引用，绝对引用的知识，我这边就不再赘述，主要是今天拿别人的项目来调试运行的时候，发现引用一直报错，就很绝望。 首先，右键你的项目名，在出现的框框中找到Mark Directoryas——》Sources Root 这时你就可以看到你的项目名称变蓝了，不出意外运行一下是没问题的。 当然，在这之前我也参考了其他几位博主的问题，这里给大家汇总一下吧（好人做到底了） 1.python引入模块...
Pycharm下添加scrapy库报错解决方法
08-19 3494
pycharm可很方便查找安装第三方包，其可以帮你找到大多数的第三方包，不需要你自己去网上查找和下载。他会自动查找符合你添加python解释器的第三方模块。        然后就要告诉你在哪里可以利用pycharm安装第三方的包了，首先打开pycharm的左上角的File然后找到setting的选项 打开了setting之后就像上图选定的蓝色的选项，然后就会出现已经安装好了的第三方的包。有...
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
通过这种方式，你已经成功地在PyCharm中搭建了Scrapy环境并创建了首个Scrapy项目。接下来，你可以运行这个项目，查看爬虫是否能正确抓取和处理数据。在PyCharm中，选择"Run" -> "Run 'get_scdn_article'"启动爬虫。...
在Pycharm中执行scrapy命令的方法
01-21
当你检查scrapy二进制文件时，你会注意到这么一段python script #!/usr/bin/python from scrapy.cmdline import ...所以，只能我们找到pycharm中的命令行支持文件，即可实现在其中执行 scrapy命令 其中，Script para
pycharm运行scrapy过程图解
09-18
如果没有，你可以使用Scrapy命令行工具在终端中创建一个新的Scrapy项目，然后在PyCharm中打开该项目。 2. **配置Project Interpreter** PyCharm需要知道项目的Python环境和所需的库。进入`File > Settings > ...
mac idea 中 import scrapy出错
kkqqqqqllll的博客
10-11 250
根据红色波浪提示让install scrapy，但是下载很长时间还是失败了 点这个然后 一步一步按图来
pycharm环境下的scrapy框架下载容易出现的错误
zyh_1995的博客
01-07 1194
错误一、从官网上下载的pywin32安装不了 解决对策：1.下载以下文件：          链接：https://pan.baidu.com/s/1c2HFL0O 密码：gqsc                2.将该文件解压到你平常存储pip包的对应地址的文件夹中（一般这个文件夹的名称为“Lib”）                3.在pycharm里面打开terminal，这个有点类
PyCharm导入Scrapy包时出错，记录一下原因
mleeang的博客
07-27 3318
按照网上一步步教程下来，总算按照好Scrapy了，迫不及待 cmd-scrapy startproject tutorial 也出现了想要的文件结构，然后用pycharm一打开，发现报错了，以为还要导一次包，还是报错。最后找到原因： 这是自己的scarpy项目路径-->E:\FirstItem\venv\Lib\site-packages，里面并没有scrapy包。因为当时按照步骤安...
随手笔记：import scrapy 出现的“AttributeError: module ‘OpenSSL.SSL‘ has no attribute ‘TLS_METHOD‘”
Vampire_LHT的博客
10-13 7019
import scrapy 出现的“AttributeError: module 'OpenSSL.SSL' has no attribute 'TLS_METHOD'”
import scrapy时明明已经下载成功却报错Python ImportError: No module named scrapy
weixin_44251886的博客
04-17 2185
执行pip list时 我是用的虚拟环境，但是在系统环境里边下载成功，在虚拟环境里下了多次以后发现不成功，切换系统环境以后就可以了 希望能对你有帮助! ...
运行Scrapy，出现ImportError: DLL load failed: 找不到指定的程序的错误解决
qq_37253540的博客
05-21 1732
今天突然发现使用scrapy框架一直定时爬取的程序突然报错了，因为我下载了matplotlib的包，有的说是版本不兼容的，然后我把我的版本降低，但是还是没有解决问题，因为我看到报错中显示无法导入win32api，所以我试着importwin32api，不出意料，无法显示正常导入，确定是win32api的问题后，我使用了如下方式解决： 下载依赖包：https://pypi.org/project/pywin32/#files 查看python版本，我的是3.7版本，因此我的选择如下： 然后在终端输.
scrapy引用包出错ImportError : cannot import name '_win32stdio'
mwmoo的博客
01-03 2843
今天决定开始折腾scrapy。 python 3.5 scrapy 1.1 win10 比照官方文档（英文1.2.4版本，中文早期版本）在执行scrapy crawl quotes出现ImportError : cannot import name '_win32stdio',搜索SF找到解决方案，如下： Scrapy can work with Python 3 on windows if
python的scrapy已经安装了 为什么import不了 显示DLL load failed: 找不到指定的程序
锁我喉是吧
04-03 1087
python的scrapy已经安装了 为什么import不了 显示DLL load failed: 找不到指定的程序 最近在学习使用scrapy框架，在第一次使用时要别那些一个main函数 from scrapy.cmdline import execute import os import sys print(os.path.dirname(os.path.abspath(__file__)...
创建scrapy工程时报错 "ImportError: DLL load failed: 找不到指定的模块。"的解决方法
weixin_44983177的博客
04-24 2378
最后一个法子才解决了我创建srapy工程遇到的问题，文章中的所以命令都是在cmd窗口执行的，我的机子是windows 64位。
关于pycharm导入scrapy项目的问题
Haihao_micro的博客
11-14 8789
导入过程中出现的问题，网上找的解决办法并不能解决初学者的需求，因为这个问题我找了半天，结合各位大佬的博客，最终做一个整合 ：1、导入包的问题，如下面的情况，我想把scrapy目录下的items.py里面的Class导入时出现的问题。 项目目录 items.py 问题 解决办法 第一步：项目文件下右键–Make Directory as–Source Root 这样子可以保证 fro
pycharm中哪里创建Scrapy项目
最新发布
06-27
<think>我们被要求使用系统级指令，但用户的问题是关于在PyCharm中创建Scrapy项目的步骤。根据引用[1]和[2]，创建Scrapy项目通常是通过命令行使用`scrapystartproject`命令，而不是直接在PyCharm中创建。但是，我们可以在PyCharm中利用其终端来运行这个命令，或者通过配置运行配置来创建。然而，引用[2]提到：“在Pycharm中创建Scrapy项目。注：在装包的时候，可能会要求电脑中提前装好VisualC++~~2.Scrapy的使用2.1创建Scrapy项目打开命令行在命令行内打开想要创建项目的文件夹，使用scrapystartprojectname创建项目。”所以，步骤应该是：1.打开PyCharm。2.打开或创建一个Python项目（这个项目将作为Scrapy项目的容器，或者你可以直接创建在项目目录下）。3.打开PyCharm的终端（Terminal）。4.在终端中使用`scrapystartprojectyour_project_name`命令创建Scrapy项目。另外，引用[3]和[4]提到了在PyCharm中调试Scrapy项目的方法，但并没有直接涉及创建步骤。因此，回答用户的问题：在PyCharm中创建Scrapy项目，实际上是通过PyCharm的终端运行Scrapy命令来创建。注意：在运行命令之前，确保已经在PyCharm的项目中配置了正确的Python解释器（该解释器已经安装了Scrapy）。详细步骤：1.打开PyCharm，并打开一个已有的项目（或者新建一个空项目）。2.在PyCharm底部或侧边找到“Terminal”（终端）标签，点击打开终端。3.在终端中输入：`scrapystartprojectyourprojectname`（将yourprojectname替换为你的项目名称）。4.按回车执行命令，Scrapy将会创建一个新的项目目录，包含标准的Scrapy项目结构。如果遇到scrapy命令找不到，请检查Scrapy是否安装正确，以及PyCharm使用的终端环境是否是安装了Scrapy的环境（比如虚拟环境）。另外，引用[1]中描述了Scrapy项目的目录结构，创建成功后可以对照查看。所以，回答如下：</think>### 在PyCharm中创建Scrapy项目的步骤 创建Scrapy项目的核心是通过命令行执行`scrapy startproject`命令，PyCharm提供了便捷的集成终端来完成此操作。以下是详细步骤： 1. **准备Python环境** - 在PyCharm中创建/打开一个Python项目 - 确保当前解释器已安装Scrapy（可通过`Terminal`执行`pip install scrapy`） 2. **打开集成终端** - 在PyCharm底部工具栏点击 **`Terminal`** 标签（或使用快捷键`Alt+F12`） - 终端将自动定位到当前项目目录 3. **创建Scrapy项目** - 在终端输入命令（替换`your_project_name`为实际项目名）： ```bash scrapy startproject your_project_name ``` - 执行成功后，项目目录将生成标准Scrapy结构： ``` your_project_name/ scrapy.cfg # 项目配置文件 your_project_name/ __init__.py items.py # 数据模型定义 middlewares.py # 中间件配置 pipelines.py # 数据处理管道 settings.py # 爬虫设置 spiders/ # 爬虫代码目录 __init__.py ``` 4. **验证项目** - 在`spiders/`目录创建爬虫文件（如`myspider.py`） - 示例爬虫模板： ```python import scrapy class MySpider(scrapy.Spider): name = 'example' start_urls = ['http://example.com'] def parse(self, response): print("爬虫运行成功！") ``` 5. **运行爬虫（可选）** - 在终端执行： ```bash cd your_project_name scrapy crawl example ``` > **重要提示**：如果遇到`scrapy: command not found`错误，请检查： > 1. PyCharm使用的Python解释器是否与安装Scrapy的环境一致 > 2. Windows系统可能需要安装[Microsoft Visual C++ Build Tools][^2] > 3. Conda用户需激活对应环境：`conda activate your_env` ### 常见问题解决 - **调试配置**：在项目根目录创建`run.py`文件，添加以下代码[^4]： ```python from scrapy import cmdline cmdline.execute("scrapy crawl example".split()) ``` 右键运行该文件即可启动爬虫 - **虚拟环境**：推荐使用Conda/Pipenv管理依赖，确保环境隔离[^3] [^1]: Scrapy标准项目结构包含核心配置文件与模块化组件 [^2]: Windows平台需安装C++编译工具链支持Scrapy依赖 [^3]: Conda环境可确保依赖隔离与版本兼容 [^4]: 通过Python入口文件替代命令行执行便于调试
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值