反爬虫，使用代理，爬取获取微信文章内容

爬虫和反爬虫是相辅相成的，本文介绍反爬虫案例

 

1，搜狗网页可以直接获取微信的文章

2，分析 请求相应 发现第一个页面的相应内容在页面显示出来

简化url地址 发现很多没用的参数，最后得到 

https://weixin.sogou.com/weixin?query=%E4%BC%98%E7%BE%8E%E7%9A%84%E5%8F%A5%E5%AD%90&type=2&page=3&ie=utf8

请求需要携带4个参数，分别为 query，type，page，ie。刚好是我们想要的。

data={
    'query':keyword,
    'type': 2,
    'page':page,
    'ie'