python爬虫基础-爬虫和反爬虫第一步

最新推荐文章于 2025-05-19 18:56:42 发布

wangshuai33

最新推荐文章于 2025-05-19 18:56:42 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wangshuai33/article/details/87173721

本文探讨了User-Agent在爬虫技术中的应用，解释了如何通过更改User-Agent来绕过网站的反爬虫机制，实现网页的有效抓取。文章提供了Python代码示例，展示了设置User-Agent的具体方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

"User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64)AppleWebkit/537.36(KHTML,like Gecko)Chrome/54.0.2840.99 Safari/537.36"

User-Agent 的改变为爬虫与反爬虫的第一步，

如果不改变User-Agent ，设置了反爬虫的网页会第一时间发现，并拒绝访问

改了User-Agent 之后反爬虫网页会以为是浏览器页面访问不会拒绝访问。

# coding:utf-8
import urllib2

ua_headers = {
    "User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64)AppleWebkit/537.36(KHTML,like Gecko)Chrome/54.0.2840.99 Safari/537.36"
}
#通过urllib2.Request（）方法构造一个请求对象
request =  urllib2.Request("http://www.baidu.com/",headers = ua_headers)

#向指定的url地址发送请求，并返回服务器响应的类文件对象
response = urllib2.urlopen(request)

#服务器返回的类文件对象文件支持python文件对象的操作方法
#read（）方法就是取读文件里的全部内容，返回字符串
html = response.read()

#返回 HTTP的响应码，成功返回200， 4服务器页面出现错误，5服务器问题
print response.getcode()

#返回 返回实际数据的实际URL，防止重定向问题
print response.geturl()

#返回 服务器响应的HTTP的报头
print response.info()

#测试以上功能可以暂时不用print html
#打印响应内容
#print  html

User-Agent 列表
ua_list = [
    "Mozilla/5.0(Macintosh;Intel Mac OS X 10.6;rv2.0.2)Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0(Windows NT 6.1;rv2.0.1)Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80(Macintosh;Intel Mac OS X 10.6.8;U;en)Presto/2.8.131 Version/11.11",
    "Opera/9.80(Windows NT 6.1;U;en)Presto/2.8.131 Version/11.11"，
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"

]