python-网络爬虫初学二:headers的设置和一些高级特性

最新推荐文章于 2025-10-09 13:26:57 发布

原创

最新推荐文章于 2025-10-09 13:26:57 发布 · 2w 阅读

33 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络爬虫

一、设置headers

url = "http://www.server.com/login"
# 设置请求的身份，如果没有，服务器可能会没有响应
user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
values = {"username": "geek", "password": "**********"}
# 在headers中设置agent
headers = {"User-Agent": user_agent}
data = urllib.urlencode(values)
# 在request中添加headers
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()

二、对付“反盗链”

# 对付“反盗链”(服务器会识别headers中的referer是不是它自己,如果不是则不响应),构建以下headers
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",
           "Referer": "http://www.zhihu.com/articles"}

三、headers的一些其他属性

# headers的一些其他属性：
# User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
# Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。
# application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用
# application/json ： 在 JSON RPC