爬虫百度的时候，出现的问题

最新推荐文章于 2024-04-19 11:11:47 发布

原创最新推荐文章于 2024-04-19 11:11:47 发布 · 4.4k 阅读

1 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

13 篇文章

订阅专栏

本文介绍使用Tornado的HTTPClient抓取百度页面时遇到的防爬虫问题及解决方法。通过在HTTP请求头部添加User-Agent字段，成功绕过了百度的网页跳转防御，实现了正常的数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from  tornado.httpclient import HTTPClient

client = HTTPClient()
response = client.fetch('https://www.baidu.com/')
print(response.body)
client.close()

'''
b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'
'''

用tornado的HTTPClient抓取百度页面的时候，返回的是“网页跳转”？？应该是百度的防爬虫手段吧。

解决的方法是，伪装成浏览器。

from  tornado.httpclient import HTTPClient

client = HTTPClient()
response = client.fetch('https://www.baidu.com/',headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'})
print(response.body)
client.close()

就是在http头里添加User-Agent字段说明（覆盖掉原本的User-Agent）

GET / HTTP/1.1
Host: www.baidu.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134

这个User-Agent是我从edge上拿的，可是，明明只是edge啊，为什么也要伪装成其他浏览器？？