big__banana的博客

企业微信群机器人自动发送文档

解决在Google Chrome 浏览器上无法断点调试，这样就可以在浏览器上开始调试js了。实测无敌好用

mitm详细配置&代理配置&If you can see this, traffic is not passing through mitmproxy.mitmproxy优点功能看包上和fiddler，Chrome的浏览器抓包一样强大，都能解析所有信息和响应。但是在解析和操作上，Chrome不能对包数据作任何的更改，fiddler只能按着自带的参数对包进行保存或修改，而无法高度定制，尤其是对python开发者而言。而mitm却是python编写，不需要像mob-browserproxy一

@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增

分享一下Google浏览器的user-agent今天想搞个爬虫，想找google的user-agent信息，发现网上居然没人分享？然后自己一个一个把浏览器里的都copy出来了。同时分享一个平时写爬虫的时候都会用到的函数（因为受网络影响很多时候是无法加载的，需要确定你的网页是存在的，同时也可可以自己修改增加失败次数）import requestsimport timeimport randomdef request_data(url): while True: try:

爬虫乱码问题经历过学或者写爬虫的小伙伴可能都会有这样的问题，爬取的网页源码或文本内容直接乱码。下面演示下乱码的处理方法。区别就是这一行：res.encoding = 'utf-8’注意大部分网页都是utf-8编码的没错，但是也有一部分网页是gbk编码的，所以只需把utf-8改成gbk即可。其他少部分的也有另外的编码格式。除了一个个试，还有什么办法呢？看下图：在网页中查看源代码。在源代码的开头部分都会有个charset,图中是倒数第二行。只要去查看一下源码是什么格式编写的，把utf-8