Jumping_Pig的博客

对于编写爬虫过程中，有一些网站会有设置反爬机制：对于非浏览器的访问拒绝响应；或短时间频繁爬取会触发网站的反爬机制，导致 ip 被封无法爬取网页。这就需要在爬虫程序中修改请求的 headers 伪装浏览器访问，或者使用代理发起请求。所以这个原因是网站为了反爬设置的陷阱，他是因为在请求响应中设置了压缩属性，所以让我们得到源码后不能解析出来，参考链接。post请求一般是有数据表单 而且再url中不会显示表单内容，因此请求信息中要编码制作成请求体中。对于有一些网站的请求是用到GET的方式请求。

链接: 六万字带你一次性速通python爬虫基础例如：例如：1、利用Anaconda创建新环境的时候报错： 解决方案： 参考连接：链接: link 删除对应的.condarc并且重新创建虚拟环境 2、Anaconda创建环境慢： 解决方案： 换国内源