HRD的博客

最简单安全，行之有效的方式就是设置万能码，稍微和开发沟通一下就OK了。如果乐于“闷头苦干自力更生”的话也可研究验证码识别技术。

python爬虫使用第三方库生成随机请求头

背景一般我们进行网络资源的爬取操作时，通常需要把浏览器中的request header的内容复制出来，放在脚本中进行操作。通常我们是手动在每个key和value的两边都加上''，但是这种方法比较麻烦，且比较耗时，以下为输入一段浏览器header内容字符串，自动格式化为字典类型的方法。代码实现def get_headers(input_headers_string): ''' 自动格式化爬虫浏览器请求头参数，输入一个从浏览器中复制过来的请求头，自动转换为字典格式内容，

前言前几天有粉丝在群里问了一个json文件处理的问题。看上去他只需要follower和ddate这两个字段下的对应的值。我们知道json是一种常见的数据传输形式，所以对于爬取数据的数据解析，json的相关操作是比较重要的，能够加快我们的数据提取效率。思路关于这个问题，倒不是很难，群里提出了三个方法，第一个是才哥说的pd处理或者正则表达式，第二个是小编自己提出的json处理，第三个是【成都-IT技术支持-小王】提出的jsonpath，总之方法很多，这里给出4个处理方法，希望下次