爬虫(Scrapy shell 调试来获取相关信息）

最新推荐文章于 2024-07-15 17:24:00 发布

raziya-askar

最新推荐文章于 2024-07-15 17:24:00 发布

阅读量354

点赞数

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/weixin_43729284/article/details/103735847

版权

爬虫专栏收录该内容

0 篇文章

订阅专栏

本文详细介绍了如何使用Scrapy爬虫抓取智联招聘网站的数据，包括安装配置、项目创建及使用shell调试工具解决403防爬问题，通过设置User-Agent使Scrapy伪装成浏览器，并利用XPath提取具体信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫的安装：
pip install scrapy
创建项目：
scrapy startproject ZhipinSpider
在这里插入图片描述

Scrapy 提供的 shell 调试工具来抓取该页面中的信息。使用如下命令来开启 shell 调试：
scrapy shell https://www.zhipin.com/c101280100/h_101280100/

将会看到 Scrapy 并未抓取到页面数据，页面返回了 403 错误，这表明目标网站开启了“防爬虫”，不允许使用 Scrapy“爬取”数据。为了解决这个问题，我们需要让 Scrapy 伪装成浏览器。

scrapy shell -s USER_AGENT=‘Mozilla/5.0’ https://www.zhipin.com/c101280100/h_101280100
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191227174718554.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,te xt_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzcyOTI4NA==,size_16,color_FFFFFF,t_70)
以使用 XPath 或 css 选择器来提取我们想要的数据：
表 5 XPath 最实用的简化写法
表达式作用
nodename 匹配此节点的所有内容
/ 匹配根节点
// 匹配任意位置的节点
. 匹配当前节点
… 匹配父节点
@ 匹配属性
节点后增加一个方括号，在方括号内放一个限制表达式对该节点进行限制

在这里插入图片描述
，想获取上面页面中的第一条工作信息的工作名称
//div[@class = “job-primary”]/div/h3/a/div/text()
即可在 Scrapy 的 shell 控制台调用 response 的 xpath() 方法来获取 XPath 匹配的节点。执行如下命令：
response.xpath (’//div[@class=“job-primary”]/div/h3/a/div/text()’).extract()