记录一次Crawl遇到的301重定向问题

在浏览器中打开网页正常运行，模拟浏览器运行就会返回301永久重定向，这是网站设置的一种反PA机制，那么我们在requests.get()中设置allow_redirects=False,将允许重定向设置为FALSE，

res = requests.get(url=s, headers=self.headers2, allow_redirects=False, timeout=50).headers['Location']

我们可以获取重定向返回的地址，再次发起一次请求，就可以返回成功

requests.get(url=wen, headers=self.headers2, allow_redirects=False, timeout=50).text

我们打印返回结果就可以发现可以正常返回，为了被封IP，建议设置timeout。