提高爬虫开发效率的几个小工具

点击上方“编程派”，选择设为“设为星标”

优质文章，第一时间送达！

作者：麦麦麦造

出处：segmentfault

前言

一般开发爬虫的时候，最心烦的不是它的反爬有多复杂，而是它的参数贼多，要一个个的复制进去。

所以自己写了一个小工具，把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。

大大的提高开发效率，其实代码之前已经开源了，不过用起来不太方便，于是最近就把它弄到了线上，用起来方便多了。

涉及到的工具或技术

• Python 3.7

• Fiddler v5.0

• Charles v4.2.8

小工具

在线转换的工具网站：https://alisen39.com/

将 webForms 的数据转成 dict 格式

工具地址： https://alisen39.com/FiddlerData

在 Fiddler 里面，webForms 的数据是 POST 请求所带的参数

可以直接将其复制出来然后转换成 dict 格式，如下：

然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了！

将 Header 数据转成 dict 格式

工具地址： https://alisen39.com/FiddlerHeader

Fiddler 里的 Header 部分，在 Raw 选项里面：

将其复制出来，然后粘贴到左边：

将 Cookies 的数据转成 dict 格式

工具地址： https://alisen39.com/FiddlerCookie

Fiddler 里抓到的 Cookies 数据：

将其复制出来，然后粘贴到左边：

重磅工具！将 raw 的数据转成 reqeusts代码

最重磅的一个功能！直接将包的内容转成python代码，真心节省90%的时间。

摁头推荐！！！

工具地址：https://alisen39.com/HttpRaw

复制抓到的Raw信息，从Fiddler或者Charles里都可以。

将其复制出来，然后粘贴到左边：

再将右边的代码复制到你的IDE里面去

就这么esay了。

回复下方「关键词」，获取优质资源

回复关键词「 pybook03」，立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版
回复关键词「入门资料」，立即获取主页君整理的 10 本 Python 入门书的电子版
回复关键词「m」，立即获取Python精选优质文章合集
回复关键词「book 数字」，将数字替换成 0 及以上数字，有惊喜好礼哦~
题图：pexels，CC0 授权。

好文章，我在看❤️