爬虫
文章平均质量分 54
清袖—
学习方向:网络安全
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【爬虫】实战1-爬取Boss直聘信息数据
由于网址(域名+参数),域名不会变,参数可能会随着页面的变化而变化。可以看到当重新翻到第一页的时候网址发生了变化,第一页用这个网址即可。我们可以切换不同的页码并将网址赋值粘贴下来(一般3-4个即可)可以看到只有page参数有变化,显然page参数对应的是页码数。我们直接用浏览器网网址输入框中的网址即可。(自动定位所在地点,我是南京)可以看到网址也发生了改变。注意最后再重新翻到第一页。原创 2024-03-19 22:18:18 · 3484 阅读 · 11 评论 -
【爬虫】web自动化和接口自动化
爬虫技术一般可以分为两种类型:接口自动化和web自动化。下面是它们的简要介绍:1.接口自动化接口自动化技术的主要目的是通过模拟HTTP请求来实现自动化,通常用于测试web API和抓取数据。接口自动化爬虫可以直接访问数据接口获取数据,它可以通过发送规范的HTTP请求来实现数据的抓取和操作。接口自动化技术适用于需要大量抓取数据的需求,以及在抓取时对页面交互没有要求的场景。综上所述,根据不同的需求和场景,可以选择适合自己的爬虫类型,分别应用Web自动化或接口自动化技术来进行网页数据的抓取和处理。原创 2024-03-19 09:15:34 · 846 阅读 · 0 评论 -
解决谷歌浏览器,每次重启都重置所有设置的问题
创建—个新的Chrome用户配置文件并设置其为默认配置文件。原创 2024-02-26 22:53:50 · 14244 阅读 · 4 评论 -
夜神模拟器没有“开发者选项”
最初使用夜神模拟器发现设置里面没有 “开发者选项”原创 2024-02-19 12:06:45 · 1468 阅读 · 0 评论
分享