python爬虫请求网页时遇到问题

python爬虫请求网页时遇到问题

请求，如果对方有一定策略的反爬虫，那需要反反爬虫。比如：

• header带上host，带上refer，带上其他；

• 需要验证，那就申请用户名和密码，然后登陆；

• 如果在登录时期有防跨站机制，那就先获取一次登录页面，然后解析出token，带上对应的token然后登陆；

• 在程序中加入Log，并且存到本地。防止出现各种各样的反爬虫机制ban掉了程序，从而方便进行下一步防反爬虫对策。

---