Intelij idea 集成scrapy开发环境

最新推荐文章于 2021-11-08 16:10:01 发布
置顶 最新推荐文章于 2021-11-08 16:10:01 发布
阅读量5.3k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： idea 文章标签： idea python scrapy debug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014738683/article/details/78072484
本文档详细介绍了如何在MacOS Sierra 0.12.6上配置IntelliJ IDEA以支持Scrapy开发。首先，从官方网站下载并安装IntelliJ IDEA，然后安装Python开发插件。接着，利用Homebrew安装pip，并配置pip源以提高下载速度。特别需要注意的是，在安装Scrapy时要带上--upgrade --ignore-installed six参数，以避免与系统内置的six包冲突。最后，通过创建Scrapy项目并在IDEA中设置运行配置，实现Scrapy与IDEA的完美结合，便于进行爬虫开发、调试和代码分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

以MacOs sierra0.12.6 为例

1.安装Intelij idea

下载地址 https://www.jetbrains.com/idea/download/#section=mac

2.安装idea 支持 python 开发的插件

Preferences -> Plugins
这里写图片描述

3.mac 神器homebrew（已经安装好pip的同学，这一步请忽略）

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

4.安装配置pip

brew install pip

安装pip之后最重要的配置就是配置pip的源，什么是源呢。。。。
就是各种插件的下载地址啦

mkdir ~/.pip
vi ~/.pip/pip.conf

在pip.conf文件填入下列配置保存就好了

最低0.47元/天 解锁文章

200万优质内容无限畅学
idea集成python后scrapy和cx_Oracle等模块import报错问题
hy_6688
03-19 465
报错原因是所安装的python没有安装所需模块 1、正确安装python，官网下载地址：https://www.python.org/（所谓的正确安装是不能下载压缩包直接解压使用，需下载安装程序安装，原因：压缩包缺少script等模块，解压后不能直接用pip命令安装所需模块） (安装时需注意选择自定义安装模式(选 Customize installation)，否则安装路径很难找) 用安装程序安装，主要是为了用安装后script文件夹下的程序去直接安装所需模块 2、WIN+R输入cmd打开命令行，进入到
如何在IDEA创建scrapy工程
徐志的博客
01-09 3705
进入doc输入activate 然后进入你想创建scrapy工程的文件输入以下代码 scrapy startproject 项目名 工程创建结束之后会有这几个文件和文件夹 如下图的 进入有个cfg文件的目录，以后操作都是在这个目录下比如创建Sprders和爬虫等等。。 计入air_quality文件里面，开始是下面这样： 下面来介绍下几个主要的文件 1.items.py这个...
idea 集成scrapy
with_dream的博客
01-11 2661
https://blog.youkuaiyun.com/u014738683/article/details/78072484 1、安装idea 2、安装python插件 需要注意python可能有多个安装位置 3、brew install pip安装pip 4、pip3 install scrapy 可能会失败 再试几次 5、创建scrapy startproject tutorial 6、在spiders目录下创建Spider import scrapy; class QuotesSpider(scrapy.Sp
爬虫记(二) - Idea安装Scrapy & Scrapy入门
一个幽灵
11-25 3774
我用Intellij IDEA写Python脚本，IDEA装上Python插件之后跟PyCharm差不多。 安装Scrapy 链接 Pycharm中的scrapy安装教程 - xiaoli2018 - 博客园 步骤 * 打开IDEA的settings->Plugins，点击，搜索并安装Python插件 * 新建Python项目 * 执行方法一或方法二 * 记住scrapy.ex...
Python包安装和Scrapy的搭建
迹_Jason
12-04 1096
声明：以下的安装都是先Windows系统下完成 第三方包的安装我推荐使用pip的方式安装，当然在使用pip之前，你首先要安装好pip环境，但是pip安装又依赖与setuptools和wheel，所以流程应该是这样子滴 1、setuptools安装 ①到如下网址中下载ez_setup.py文件：https://pypi.python.org/pypi/setuptools（https://bo
针对pychram启动scrapy项目
qq_27249565的博客
03-11 570
针对pychram启动scrapy项目用编辑器pychram来编辑Python非常方便，但对于习惯用cmd来启动项目的程序员来说如果pychram也可以启动或许是个福音！废话不多说了今天看见一个大神写的启动scrapy项目，颇受启发。既然使用cmd命令行来启动项目，那我们就可以用 .py 文件来替代cmd 以便于启动项目代码from scrapy import cmdlinecmdline.exec
scrapy-scrapy
最新发布
12-20
而.idea文件夹可能包含了与IDE（集成开发环境）相关的配置信息，比如IntelliJ IDEA的项目设置。ths和wangyi文件夹可能包含了特定功能或模块的代码实现，而myspider可能是一个或多个自定义的Spider爬虫示例。 Scrapy...
基于Python Scrapy框架的链家二手房爬虫设计源码
10-01
4. IntelliJ IDEA项目文件则表明了源码是使用IntelliJ IDEA这一集成开发环境进行开发的。 5. Markdown文件通常是用来说明项目的使用方法、安装步骤以及运行流程的。 6. 配置文件和SQL文件则分别用来设置爬虫的运行...
scrapy实现翻页爬取中国作家网案例分享
12-12
在Scrapy项目中，通常还会包括一些其他辅助文件，例如chinawriter.csv可能是一个用于存储爬取数据的CSV文件，而 IDEA文件夹则表明这个项目可能在IntelliJ IDEA或其他集成开发环境中被编辑和管理。 在Scrapy的开发中...
基于Python语言的Scrapy框架爬虫设计源码
10-05
此外，.idea文件夹表明项目是使用IntelliJ IDEA进行开发的，这可能意味着项目中包含了特定IDE的项目文件，这对于项目管理和维护都十分方便。而IntelliJ IDEA项目文件则提供了项目结构和配置信息，这为开发者提供了...
爬虫框架Scrapy的入门使用
qq_32736999的博客
08-17 263
步骤一：创建项目 在你的程序主目录执行下面命令 scrapy startproject baidu 然后根据步骤继续执行 cd baidu scrapy genspider baidu baidu.com 步骤二：idea打开项目 我们现在请打开idea，看目录结构 步骤三：编写代码 我们打开baidu.py文件 我们可以在重写的parse方法里面实现我们的业务，使用正则，xpath，...
python import 红线但是能运行
全村的希望的博客
09-09 836
解决方法：包右键-Mark Directory as-Sources Root
python3问题-在idea里面运行爬虫
cmqwan的博客
04-18 1万+
在idea里面运行爬虫 新建main文件 # -*- coding: utf-8 -*- from scrapy.cmdline import execute import sys, os # sys.path.append(os.path.dirname(os.path)) sys.path.append(os.path.dirname(os.path.abspath(__file__)))...
scrapy框架的环境配置
booze_的博客
11-08 635
scrapy框架的环境配置 文章目录scrapy框架的环境配置一、scrapy框架需要哪些环境 本文主要讲述的是使用scrapy框架的环境搭建 一、scrapy框架需要哪些环境 mac or linux下直接执行命令: pip install scrapy windows下配置在python解析器中执行以下命令: 1.pip install wheel 2.下载twisted : pip install …whl 3.pip install pywin32 4.pip install scrapy 测
Intellij IDEA导入Python插件并创建工程
热门推荐
oldbig_lin的博客
08-13 1万+
最近假期有空想学习一下python爬虫，百度一下发现Eclipse可以集成python插件，无奈十分麻烦，IDEA就不同了，引入python 插件十分简单，适合我这个小白 Intellij IDEA15中Python安装： Intellij IDEA15建立Python项目 编辑Python脚本 在in
2019年最新解决Scrapy安装-以及各种第三方模块安装问题
Smile_Mr的博客
12-26 678
对于刚刚接触python的同学，你会发现python是一门崭新美妙的大门，当然有时候我们安装不了模块也是一个很坑的点。那接下我主要介绍，如果我们在windows下无法安装模块，我们将用什么方法安装。 第一：安装爬虫框架scrapy 刚刚学习爬虫的同学可能在这个地方遇到很多坑，因为它有很多的依赖 1、pywin32 2、twisted 3、scrapy 按照这个顺序安装，绝对能够执行……...
IDEA神器操作
qianyiyiding的专栏
02-06 793
IDEA快捷键在很多博客都能搜索得到，今天记录一下快键键对应的英文以及idea一些常用的操作，由于自己经常工作在windows和mac操作切换，很多的快捷键都不相同，有时候想用快捷键操作但是又不知道设置的选项。这里我将自己常用的操作列举出来以便在window和mac下面快速设置为自己的快捷键 1.常用快捷键操作 Forward 返回上一个浏览地方(浏览源代码很有好处) Bac
scrapy 配置debug模式
Darkman_EX的博客
06-07 5585
第一步：创建manage.py(名字可以随便，注意后面要使用到改名字)： 第二步：在manage.py文件中写入以下代码： #!/usr/bin/python from scrapy.cmdline import execute execute('scrapy crawl dailiSpider'.split()) 第三步：点击栏目run中的debug，配置信息： Scrip...
用Python写爬虫入门篇（三）
小夏陌的博客
11-28 4770
简介 最近在学习python，这几篇博文用于个人记录总结，不正之处还望大佬指出。（适合学习过python的同学） 用Python写爬虫入门篇（一） 用Python写爬虫入门篇（二） 用Python写爬虫入门篇（三） 我的运行环境 系统版本：Windows10 Python版本：Python3.7 IDE：IDEA(因为平时主要用JAVA就没安PyCharm了) （安装适合自己的环境即可） 动态网页...
Scrapy爬虫框架依赖库搭建与项目实例创建教程
在提供的文件信息中还提到了".idea"文件夹，这通常是IntelliJ IDEA集成开发环境的项目配置文件夹。这个文件夹包含了与IDEA相关的信息，例如项目特定的设置、代码风格配置、版本控制设置等。这表明在开发Scrapy项目时...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值