G_GUi的博客

ggui：解决python虚拟环境报错“AttributeError: 'HTMLParser' object has no attribute 'unescape'”

搜索：全局搜索、代码内搜索debug：常规debug、XHR debug、行为debug查看请求调用的堆栈执行堆内存中的函数修改堆栈中的参数值写js代码打印windows对象的值勾子：cookie钩子、请求钩子、header钩子对称加密（加密解密密钥相同）：DES、DES3、AES非对称加密（分公钥私钥）：RSA信息摘要算法/签名算法：MD5、HMAC、SHA前端实际使用中MD5、AES、RSA，自定义加密函数使用频率是最高的。

交互式验证码越来越多，如极验滑动验证码需要滑动拼合滑块才可以完成验证，点触验证码需要完全点击正确结果才可以完成验证，另外还有滑动宫格验证码、计算题验证码等。不过我们不能直接转化原图，要将原图转化为灰度图，然后指定二值化阈值，进行二值化处理。这次识别和实际结果有偏差，这是因为验证码内的多余线条干扰了图片的识别。图形验证码，是最简单的一种验证码，这种验证码最早出现，现在也很常见，一般由 4 位字母或者数字组成。那么，针对一些有干扰的图片，我们可以做一些灰度和二值化处理，这样会提高图片识别的正确率。

14-转义字符和原生字符

12-开始结束和非贪婪

11-正则表达式语法

09-select方法练习题

08-select方法

07-find和find_all方法

06-遍历文档树

05-Beautiful Soup四个常用的对象

04-bs4简单使用

02-在lxml中使用xpath语法代码内容为常用的xpath解析不整理了，直接上代码

01-lxml解析html代码和文件

【代码】16-正则表达式-常用函数

如果想要让.代表所有的字符，那么需要在函数后面加re.DOTALL来表示，否则不会代表\n，也就是换行。获取数据的时候，都要用非贪婪模式.如果正则写得不对，那么获取不到结果，程序会假死，这时候可以把你刚刚写的正则删掉，重新运行下，看下程序还会不会假死如果不会假死了，说明正则写得有问题，这是就要去调整了。如果正则写的有问题，那么不要去钻牛角尖，去更换一个思路就可以了。

修改镜像可以让我们下载模块的速度增加因为模块都是从国内的镜像上面获取

scrapy爬虫Scrapy主要包括了以下组件：* 引擎(Scrapy)

python爬虫之urllib模块

代码】2、python之爬虫css属性解析以及2级爬取。

requests爬虫用xpath解析_1