PyCharm运行Scrapy小示例

最新推荐文章于 2025-07-16 15:54:01 发布
原创 最新推荐文章于 2025-07-16 15:54:01 发布 · 2.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了如何在PyCharm中创建并运行一个Scrapy项目。首先新建Scrapy项目，然后通过PyCharm打开项目，展示项目目录结构。接着定义Item，根据官网代码创建dmoz_spider.py文件。再在项目根目录下创建begin.py脚本，并配置PyCharm的运行设置，确保正确指定脚本和工作目录，最后运行爬虫。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.新建一个Scrapy项目

目录结构如下所示：

2.打开pyCharm选择open

选择刚新建的项目->ok

然后Alt+1

下图为目录结构

3.定义Item
官网上的代码

在tutorial\spiders目录下新建dmoz_spider.py并保存，代码如下图

4.在tutorial下创建begin.py，代码如下图

5.配置一下pycharm了。点击Run->Edit Configurations

name改为spider script选择begin.py所在目录，工作目录选择项目目录

运行即可
python3 pycharm+scrapy框架 爬虫项目实例（一）
only···的博客
05-30 1万+
博客链接！ requests 讲解 BeatifulSoup 讲解 python3 基于requests+beatifulsoup爬虫实战 python3 pycharm+scrapy框架 爬虫项目实例（一） 历经挫折，在度娘以及csdn大佬帮助下成功安装scrapy框架 一、项目简介 1.内容：爬取传智播客C/C++讲师的姓名、职称以及个人简介 2.目标...
1.1 如何在Pycharm中使用Scrapy
theDataDiggers
11-06 713
打开 Terminal , 将 5 Scrapy 拖到 Terminal 上，即可进入到 5 Scrapy 的目录 新建Scrapy 项目：tutorial C:\Users\Jiangfeng\PycharmProjects\QSModel\5 Scrapy> scrapy startproject tutorial 新建之后，pycharm上展开 5 Scrapy 项目，可以看到你...
python初学者可以做的金融小程序-Python入门 —— 用pycharm写一个简单的小程序3...
weixin_37988176的博客
10-29 945
环境：Win10操作系统；Python3.7；Pycharm题目来源：PTA编程实例1：日期格式化世界上不同国家有不同的写日期的习惯。比如美国人习惯写成"月-日-年”，而中国人习惯写成"年-月-日”。下面请你写个程序，自动把读入的美国格式的日期改写成中国习惯的日期。输入格式：输入在一行中按照"mm-dd-yyyy”的格式给出月、日、年。题目保证给出的日期是1900年元...
使用PyCharm搭建Scrapy爬虫框架：实战指南
weixin_42476987的博客
07-16 1239
在items.py文件中定义Item是数据抓取前的准备工作。Item类似于Python字典，是用来存储抓取结果的数据结构。例如：# items.py定义好Item后，需要在中实现Item的持久化存储逻辑。例如，将数据存储到CSV文件：import csv这只是一个简单的例子，根据需求，你可能需要对数据进行清洗、去重、导入数据库等操作。Scrapy 是一个快速、高层次的 web 抓取和 web 抓取框架，用于爬取 web 站点并从页面中提取结构化的数据。
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
热门推荐
一定要站在自己热爱的生活里闪闪发光
04-16 4万+
1.环境 win10 PyCharm Python 3.6 2.scrapy 环境搭建 安装两个python模块：Twisted、scrapy。在cmd中安装会快捷一点。 安装Twisted： 执行 pip install twisted 安装scrapy：执行 pip installscrapy 【注】安装完成后，执行 pip list 检查以下上述两个模块是否安装成功。 ...
pycharm入门实例
neigetiantian的博客
09-22 5876
PyCharm新建运行入门Scrapy 项目
二月十六的博客
04-07 669
Scrapy 没有办法直接在PyCharm中建立，要在控制台里边建立，在PyCharm中编辑运行，Scrapy 安装和环境变量配置不再赘余。 1、新建Scrapy项目，使用命令： scrapy startproject spiderstest 2、打开PyCharm，File->open，然后选择项目： 3、编写我们...
pycharm运行scrapy过程图解
01-20
这篇文章主要介绍了pycharm运行scrapy过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.打开pycharm, 点击File>Open找到mySpider项目导入 2.打开File...
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
2. 为了在项目中使用Scrapy，你需要在命令行界面（或者PyCharm的内置Terminal）切换到项目根目录下，然后运行以下命令来创建一个新的Scrapy项目： ``` scrapy startproject ScrapyDemo ``` 创建完成后，你的项目...
如何正确配置 PyCharm 运行 Scrapy 爬虫？
最新发布
08-01
我们正在解决如何在PyCharm中配置和运行Scrapy爬虫项目的问题。根据引用[3]和[4]，我们知道在PyCharm中可以通过终端命令创建Scrapy项目，并运行爬虫。但是，为了在PyCharm中更便捷地运行和调试，我们需要配置运行...
pycharm创建scrapy项目教程及遇到的坑
weixin_30889885的博客
12-20 547
最近学习scrapy爬虫框架，在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间，遇到各种坑，根据网上的各种教程，花费了一晚上的时间，终于成功，其中也踩了一些坑，现在整理下相关教程，希望帮助那些遇到和我一样问题的码农。 1、环境 操作系统：windows10。 python版本：python3.7，必须使用Anaconda，目前是Anaconda5.3....
pycha源码+实例文件
02-14
详见我的博客python绘制非常漂亮的图标
在pycharm中搭建scrapy的框架
m0_54102753的博客
10-19 675
文章目录 前言 使用步骤 1.引入库 2.读入数据​​​​​​ 前言 scrapy框架的构建 使用步骤 1.引入库 首先下载scrapy库 如果下载显示pip等级过低，需要升级一下pip pip install scrapy 2.搭建scrapy 打开终端按照下列操作（那么的文件名要对应你自己的文件名） #创建一个目录scrapy #打开终端，终端定位目录 cd scrapy #建立一个项目 scrapy startpro..
pycharm下创建scrapy项目
qq_42733062的博客
08-01 262
catalog用pip安装scrapy创建scrapy项目 用pip安装scrapy 创建scrapy项目 进入所要创建项目的文件夹，创建scrapy项目 所需命令 scrapy startproject [项目名] C:\Users\D>D: D:\>cd D:\01DuJia\code\code-python D:\01DuJia\code\code-python>scrapy startproject quotes New Scrapy project 'quotes',
在pycharm中创建一个scrapy项目
booze_的博客
11-08 1119
创建一个scrapy项目 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录创建一个scrapy项目一、创建一个scrapy项目 一、创建一个scrapy项目 在pycharm的terminal终端 选好合适的路径 输入命令：scrapy startproject 项目名 例如：scrapy startproject scrapy_Pro 按照提示
在pycharm创建scrapy项目
qq_43203949的博客
08-16 1万+
在pycharm创建scrapy项目 步骤很简单，直接进入主题。 第一步： 创建一个python项目。解析器什么的自己选择，环境目录默认就好。 第二步： 下载scrapy，步骤file->settings->project Interpreter 然后下载scrapy,下载前建议更改或添加下载源，否则容易超时出错。 第三步： 左下角找Terminal,点击Terminal进行终端交互，然后输入项目创建命令。scrapy startproject Testscr （Testscr是你对应的项
PyCharm创建Scrapy项目
u012365843的专栏
04-16 3767
Scrapy安装好之后我们便可以创建自己的第一个爬虫项目了。 一、首先用 win+r组合键打开命令窗口，进入要创建项目的目录。windows是用盘符加冒号即可进入对应的盘符。 scrapy startproject 项目名(创建scrapy项目)；命令执行完后便在你指定的目录下有对应的项目目录了。顺便我们介绍下常用的scrapy命令： bench:性能测试 fetch:读取源代码 genspider:生成爬虫文件 runspider:运行爬虫文件 settings:爬虫相关设置 shell:
Pycharm创建scrapy项目
yinerchong的博客
05-06 2847
pycharm创建scrapy项目
PyCharm创建scrapy项目
╮(╯_╰)╭ Don't expect me to reply to you in time
06-13 1万+
1、新建Python项目，如 “Demo” 2、默认设置 （1）File → Default Settings → Project Interpreter （2）选择Python安装目录下的系统Interpreter 注意区分Python解析器、PyCharm解析器和项目解析器，都是python.exe只是Package路径不同 （3）点“+”增加Scrapy包...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值