imooc urllib2下载网页3种方法代码

最新推荐文章于 2023-09-30 12:30:24 发布

DF的提莫

最新推荐文章于 2023-09-30 12:30:24 发布

阅读量373

点赞数

本文介绍并演示了使用Python中的urllib2模块通过三种不同方式从互联网上下载网页内容的方法。包括直接使用urlopen函数、带有请求头的方式以及使用CookieJar管理Cookies进行下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# /usr/bin/python2.7.6
# coding=utf-8
#
# urllib2下载网页3种方法
#
#2016/02/29

import urllib2
import cookielib

url = "http://www.baidu.com"

print'第一种方法'
response1 = urllib2.urlopen(url)
print response1.getcode()
print len(response1.read())

print '第二种方法'
request = urllib2.Request(url)
request.add_header("user-agent", "Mozilla/5.0")
response2 = urllib2.urlopen(request)
print response2.getcode()
print len(response2.read())

print '第三种方法'
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print len(response3.read())