网络爬虫学习笔记---浏览器开发者工具的使用

---

前言

为了获取请求数据和调试所写的脚本，需要使用浏览器的开发者工具，使用开发者工具查看网络请求的数据包有哪些，从而抓取需要的数据包使用脚本进行请求。每一个浏览器的开发者工具界面大同小异，本文以edge浏览器界面做笔记记录。

---

一、开发者工具的位置

打开浏览器点击右上角三个点>更多工具>开发人员工具或者点击F12打开开发者选项，打开后页面如下图所示：

二、开发者工具的常用功能模块及作用

在开发者工具中上层有一些初始工具，如果找不到下文的工具点击最右侧加号寻找相关工具。

1、元素

在元素模块中主要展示当前页面的各个元素,通过这一模块可以找到所需元素的属性名称，以此来检索属性，进而可以通过爬虫对数据进行精确抓取

2、控制台

类似于编译器中的Terminal（终端），可以运行JavaScript代码，验证爬虫开发中的代码是否正确

3、源代码

可以查看和调试网页中的源代码，在源代码中打断点，可以逐行执行代码，通过查看变量的值和函数调用的堆栈可以对网站中的反爬机制进行破解

4、网络

在网络模块中可以清晰地看到在什么时间浏览器得到了什么文件，对文件进行预览，可以准确地找到目标内容的请求，根据请求的相关信息，通过脚本对该地址进行请求，便可快速获得相关数据

5、搜索

使用搜索功能可以快速检索字符位置，对目标参数进行快速定位

资料

详情参阅：Edge开发者工具文档