Scrap命令集

最新推荐文章于 2024-08-26 07:54:33 发布
最新推荐文章于 2024-08-26 07:54:33 发布
阅读量460 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Scrapy Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35699528/article/details/84874608
本文详细介绍Scrapy爬虫框架的使用方法，包括项目创建、蜘蛛构建、命令行操作及常用命令解析。从零开始教你如何搭建并运行爬虫，掌握Scrapy核心功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

创建项目：scrapy startproject huwaiSpiders

创建蜘蛛：scrapy genspider test8264 8264.com     #需要在项目目录下运行

运行蜘蛛：scrapy crawl  mingyan2

来源：https://www.cnblogs.com/qlshine/p/5926102.html

查看所有命令

scrapy -h

查看帮助信息

scapy --help

查看版本信息

(venv)ql@ql:~$ scrapy version
Scrapy 1.1.2
(venv)ql@ql:~$ 
(venv)ql@ql:~$ scrapy version -v
Scrapy    : 1.1.2
lxml      : 3.6.4.0
libxml2   : 2.9.4
Twisted   : 16.4.0
Python    : 2.7.12 (default, Jul  1 2016, 15:12:24) - [GCC 5.4.0 20160609]
pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips  1 Mar 2016)
Platform  : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial
(venv)ql@ql:~$

新建一个工程

scrapy startproject spider_name

构建爬虫genspider(generator spider)

一个工程中可以存在多个spider, 但是名字必须唯一

scrapy genspider name domain
#如:
#scrapy genspider sohu sohu.org

查看当前项目内有多少爬虫

scrapy list

view使用浏览器打开网页

scrapy view http://www.baidu.com

shell命令, 进入scrpay交互环境

#进入该url的交互环境
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/

之后便进入交互环境
我们主要使用这里面的response命令, 例如可以使用

response.xpath()    #括号里直接加xpath路径

runspider命令用于直接运行创建的爬虫, 并不会运行整个项目

scrapy runspider 爬虫名称
Linux之scp命令的介绍以及命令行输入密码参数执行方法和常见问题解决
小橙子的笔记屋
06-21 7万+
一、scp命令 scp命令主要用于Linux中不同主机间复制文件和目录。 scp是Linux系统下基于ssh登录进行安全的远程文件拷贝命令。 scp是加密的 二、scp使用方法 2.1、命令格式 scp [参数] [原路径] [目标路径] 命令参数： -p 保留原文件的修改时间，访问时间和访问权限。 -q 不显示传输进度条。 -r 递归复制整个目录。 -v 详细方式显示输出。 -P port 注意是大写的P, port是指定数据传输用到的端口号 2.2、使用实例 scp命令应用： 1、从本地服务器复制
Scrapy爬虫框架 Pipeline 数据的过滤与存储
Mr数据杨
02-10 3万+
在本教程中，我们深入探讨了如何在Scrapy 中使用Pipeline来处理抓取到的数据。Pipeline是Scrapy中的一个关键组件，它不仅能够帮助你高效地存储数据，还可以对数据进行清理、去重和转换等操作。通过这一系列的学习，你已经掌握了如何将抓取的数据写入JSON文件和MongoDB数据库，如何利用Selenium保存网页截图，以及如何通过内存或数据库来过滤重复数据。希望通过本教程，你能够更加熟练地运用Scrapy的Pipeline功能，为你的爬虫项目增添更多的数据处理能力。
Scrapy常用命令行工具
weixin_30549175的博客
10-01 122
查看所有命令 scrapy -h 查看帮助信息 scapy --help 查看版本信息 (venv)ql@ql:~$ scrapy version Scrapy 1.1.2 (venv)ql@ql:~$ (venv)ql@ql:~$ scrapy version -v Scrapy : 1.1.2 lxml : 3.6.4.0 libxml2 : 2.9.4 Twisted ...
Scrap入门之基础命令
whwbe的博客
09-09 162
安装：pip install scrapy 创建一个爬虫项目：scrapy startproject 项目名 创建一个标准的爬虫文件：scrapy genspider 爬虫名 域名（爬取的总网址） 运行爬虫：scrapy crawl 爬虫名
scrapy基本命令
爱吃辣椒的锅包肉
11-11 354
1.创建一个新项目： scrapy startproject myproject 2.在新项目中创建一个新的spider文件： scrapy genspider mydomain baidu.com mydomain为spider文件名，baidu.com为爬取网站域名 3.运行spider文件： scrapy crawl <spider> 4.检查spider文件有无语法错误： scrapy check 5.列出spider路径下的spider文件： scrapy list 6.编辑
scrapy
weixin_30270889的博客
10-14 80
安装命令行安装scrapy 跟着创建工程 在开发工具引入依赖包。python3.4不支持 在命令行查看。命令工具： 1.help<<<< scrapy --help 查看他的版本和下面的子命令 2.version<<<<scrapy version -v 查看他的版本各个组件的版本 3.startproject<<<s...
爬虫(27)scrap_redis案例
m0_46738467的博客
04-12 509
文章目录第二十四章 scrap_redis案例1. settings文件的分析 第二十四章 scrap_redis案例 1. settings文件的分析
入门用Python进行Web爬取数据：为数据科学项目提取数据的有效方法
TensorFlowNews
09-30 1108
作者|LAKSHAY ARORA 编译|Flin 来源|analyticsvidhya 总览 Web抓取是一种从网站提取数据的高效方法（取决于网站的规定） 了解如何使用流行的BeautifulSoup库在Python中执行网页抓取 我们将介绍可以抓取的不同类型的数据，例如文本和图像 介绍 我们拥有的数据太少，无法建立机器学习模型。我们需要更多数据！ 如果这句话听起来很熟悉，那么你并不孤单！希望获得更多数据来训练我们的机器学习模型是一个一直困扰人们的问题。我们无法在数据科学项目中获得可以直接使用的E
Java技术栈/面试题合集(9)-Nginx篇-part1
热门推荐
BADAO_LIUMANG_QIZHI的博客
07-09 4万+
Nginx 是一款高性能的开源软件，主要用于 Web 服务、反向代理、负载均衡 等场景。以下是其核心特点与功能的详细说明：核心定义与作用高性能 Web 服务器Nginx 最初设计用于替代传统的 Apache 服务器，专注于处理高并发连接和静态资源的高效传输。其事件驱动架构和非阻塞 I/O 模型使其能够轻松支持数万级并发连接反向代理服务器Nginx 可充当客户端与后端服务器之间的中间层，接收客户端请求并转发至后端服务（如 Tomcat、Node.js ），同时隐藏后端服务器的真实 IP，提升安全性。
select * from ( SELECT -- 手工入库字段 a.id, a.tag_num, a.orgid, a.createperson, a.damageid, a.type, a.weight, a.createtime, a.operator, d.wasteCode, d.dangerName, d.wasteCategory, s.name AS orgName, '贮存' AS direction, -- 手工入库无方向 '人工' AS source FROM incoming_parameter a LEFT JOIN dangerwaste d ON a.damageid = d.id LEFT JOIN scrap s ON a.orgid = s.id where a.type=1 and a.orgid in ( 1526361506692370433 ) UNION ALL SELECT -- 手工出库字段 b.id, b.tag_num, b.orgid, b.createperson, b.damageid, b.type, b.weight, b.createtime, b.operator, d.wasteCode, d.dangerName, d.wasteCategory, s.name AS orgName, b.direction, '人工' AS source FROM outbound_parameter b LEFT JOIN dangerwaste d ON b.damageid = d.id LEFT JOIN scrap s ON b.orgid = s.id LEFT JOIN incoming_parameter ipc ON b.in_num = ipc.tag_num where b.type=1 and b.orgid in ( 1526361506692370433 ) UNION ALL SELECT -- 设备产废字段，自动补齐其他列为 NULL NULL AS id, d.deviceCode AS tag_num, d.scrapId AS orgid, ( SELECT su.name FROM haolan_message hm JOIN sys_user su ON su.id = hm.create_user WHERE hm.point_id = wg.device_code AND hm.message LIKE '%DOOR%' AND hm.create_time BETWEEN wg.create_time - INTERVAL 600 SECOND AND wg.create_time ORDER BY hm.create_time DESC LIMIT 1 ) AS createperson, d.danger_waste_id AS damageid, NULL AS type, wg.increment_or_decrement_weight AS weight, wg.create_time AS createtime, NULL AS operator, dw.wasteCode, dw.dangerName, dw.wasteCategory, d.scrapName AS orgName, '贮存' AS direction, '设备' AS source FROM waste_generation_data wg JOIN device d ON wg.scrap_id = d.scrapId LEFT JOIN dangerwaste dw ON d.danger_waste_id = dw.id WHERE wg.flag = 1 AND wg.increment_or_decrement_weight > 1 and wg.scrap_id in ( 1526361506692370433 ) group by wg.id UNION ALL SELECT -- 设备转运字段 NULL AS id, d.deviceCode AS tag_num, d.scrapId AS orgid, su.name AS createperson, d.danger_waste_id AS damageid, NULL AS type, wtd.weight AS weight, wtd.create_time AS createtime, su.name AS operator, -- 来源于 sys_user dw.wasteCode, dw.dangerName, dw.wasteCategory, d.scrapName AS orgName, '转运' AS direction, '设备' AS source FROM waste_transport_data wtd JOIN device d ON wtd.deviceCode = d.deviceCode LEFT JOIN dangerwaste dw ON d.danger_waste_id = dw.id LEFT JOIN sys_user su ON wtd.create_user = su.id where 1=1 and d.scrapId in ( 1526361506692370433 ) group by wtd.id ) t ORDER BY createtime DESC 这个sql如何优化速度
最新发布
07-10
1. 如何通过 `EXPLAIN` 命令分析 SQL 查询的执行计划瓶颈？ 2. 在哪些场景下 `LATERAL JOIN` 比传统子查询性能更好？ 3. 如何平衡临时表的使用与内存开销？ 4. 覆盖索引的原理是什么？如何设计高效的覆盖索引？ ...
Python-- Scrapy
ydw_ydw的博客
09-04 1027
scrapy爬虫框架 中文学习文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html  1、爬虫框架有哪些： scrapy  pyspider crawley 2、scrapy框架介绍 https://doc.scrapy.org/en/latest/ https://scrapy-chs.readthedocs.io...
（一）Scrapy的命令行
Catastrophe
04-02 6062
最近一直都是在用自己写的抓取框架做爬虫，还是系统的整理一下Scrapy相关的知识，做一个old school 的爬虫。 爬虫的整个流程，就是发送网络请求，处理返回的内容两个过程。然后我们将这个流程细化；如何准备需要访问的链接，需要访问的链接应该是哪些链接；发送请求时我们带上什么，如何更快的发送更多请求；对返回的内容需要做哪些操作…… 不讲实例，只看实现。从Scrapy的源码来读Scrapy到底是如...
Scrapy爬虫入门教程八 交互式 shell 方便调试
inke的博客
03-07 6682
Scrapy爬虫入门教程八 交互式 shell 方便调试
scrapy入门实战练习（二）----调试(Debugging)Spiders
exec1025的博客
03-28 383
转自知乎网工具和环境语言：python 2.7IDE： Pycharm浏览器：Chrome爬虫框架：Scrapy 1.2.1正文方法1通过 scrapy.shell.inspect_response 函数来实现。以上一篇教程的爬虫为例：# -*- coding: utf-8 -*- # @Time : 2017/1/7 17:04 # @Author : woodenrobot f...
在pycharm里面调试scrapy
u012970678的博客
02-20 349
2， 在项目运行的“编辑配置”里面添加一个Python配置。任意取名，关键是在script栏填上刚刚创建的文件路径，还有在工作目录填上scrapy的项目目录即可。1，在scrapy项目中，和scrapy.cfg同目录里创建一个自己命名的py文件，写上这两行代码，其中爬虫名字自己更换。
python爬虫scrapy框架教程_Scrapy爬虫框架教程（一）-- Scrapy入门
weixin_39942726的博客
11-26 386
前言转行做python程序员已经有三个月了，这三个月用Scrapy爬虫框架写了将近两百个爬虫，不能说精通了Scrapy，但是已经对Scrapy有了一定的熟悉。准备写一个系列的Scrapy爬虫教程，一方面通过输出巩固和梳理自己这段时间学到的知识，另一方面当初受惠于别人的博客教程，我也想通过这个系列教程帮助一些想要学习Scrapy的人。Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据...
scrapy常用命令
You_are_my_dream的博客
03-01 1686
# -- help 查看帮助信息 scrapy -- help # version 查看版本信息 scrapy version # version -v 更加全面的版本信息 scrapy version -v # startproject 创建工程 scrapy startproject tutorial(工程名称) cd tutorial # 以下方法在 tutorial 目录下进行
开源项目 `scrap` 使用教程
gitblog_00346的博客
08-26 261
开源项目 scrap 使用教程 1. 项目的目录结构及介绍 scrap/ ├── README.md ├── scrap.py ├── config.ini ├── docs/ │ └── tutorial.md ├── tests/ │ └── test_scrap.py └── utils/ └── helpers.py README.md: 项目介绍和基本说明文档。 sc...
编程修炼之python--scrapy
u013257767的博客
08-29 344
文章目录简介Scrapy创建工程抽取数据爬取数据存储链接添加 Following links多个爬取策略spider参数命令行工具配置创建工程创建爬虫Spiderscrapy.SpiderSpider种类CrawlSpiderXMLFeedSpiderCSVFeedSpiderSitemapSpiderSelectorItems 数据元素 俗话说得好，爬虫玩的好，牢底坐的早，想玩爬虫可不要做违法乱纪的事儿偶。 简介 scrapy是一款非常强大的网络爬虫框架，对于数据挖掘，信息处理等领域提供了非常便捷的数据
scrap软件包安装失败
04-26
好的，用户遇到了安装scrap软件包失败的问题，需要我帮忙解决。首先，我需要确定用户所说的“scrap”具体是哪个包。因为在Python中，常见的包名称可能有拼写错误，比如用户可能想安装的是“scrapy”这个爬虫框架，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值