网络爬虫实质上是模拟浏览器向 Web
服务器发送请求。对于一些简单的网络请求,我们
可以通过查看
URL
地址来构造请求,但对于一些稍复杂的网络请求,仍然通过观察
URL
地
址将无法构造正确。因此我们需要对这些复杂的网络请求进行捕获分析,这个操作也称为抓
包。常用的抓包工具有
Fiddler
、
Charles
、
Wireshark
等,其中
Fiddler
在
Windows
平台上应用
得较多。
1.Fiddler 的工作原理
Fiddler 是一个
HTTP
调试代理工具,它能够记录浏览器和
Web
服务器之间的所有
HTTP
请求,支持对网络传输过程中发送与接收的数据包进行截获、重发、编辑、转存等操作。与
浏览器自带的开发者工具(如
Chrome
浏览器的
F12
工具)相比,
Fiddler
具有以下特