urlib2下载器网页的三种方法

最新推荐文章于 2024-04-28 15:36:00 发布

原创最新推荐文章于 2024-04-28 15:36:00 发布 · 981 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python urllib2

本文通过Python演示了如何发起网络请求并获取HTTP响应的状态码与长度，还介绍了如何利用CookieJar来管理Cookies。文章包括使用urllib2模块进行基本的GET请求及设置User-Agent，以及使用CookieJar进行Cookies的读取。

import urllib2
import cookielib

url = "http://wwww.baidu.com"

response = urllib2.urlopen(url)
print str(response.getcode()) + " "+ str(len(response.read()))

requset = urllib2.Request(url)
requset.add_header("user-agent","Mozilla/5.0")
response = urllib2.urlopen(requset)
print str(response.getcode()) + " "+ str(len(response.read()))


CKJR 	= cookielib.CookieJar()
HCKP = urllib2.HTTPCookieProcessor(CKJR )
OPENER 		= urllib2.build_opener(HCKP)
urllib2.install_opener(OPENER)
response = urllib2.urlopen(url)
print str(response.getcode()) + " "+ str(len(response.read()))
print CKJR