python3.4.4实现网页爬虫基础之网页下载器三种方法

最新推荐文章于 2025-07-10 11:59:26 发布

原创最新推荐文章于 2025-07-10 11:59:26 发布 · 4.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

Python学习专栏收录该内容

8 篇文章

订阅专栏

本文分享了慕课网《Python开发简单爬虫》中网页下载器的三种实现方法，包括基本方法、使用header伪装的方法以及利用CookieJar进行操作的方法。详细介绍了如何使用urllib.request库进行HTTP请求，获取网页状态码、读取网页内容，并打印或保存到文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是是慕课网《Python开发简单爬虫》中网页下载器的三种实现方法，课程用的是python2.7，这里用最新的3.4.4实现出来，分享给新人：

import urllib.request
from http.cookiejar import CookieJar

url = 'http://www.baidu.com'

print('第一种方法')
res1 = urllib.request.urlopen(url)
print(res1.getcode())  # 打印状态码，200表示成功
print(len(res1.read()))

print('第二种方法')
# 添加header，伪装成Mozilla浏览器
request = urllib.request.Request(url, headers={'user-agent': 'Mozilla/5.0'})
res2 = urllib.request.urlopen(request)
print(res2.getcode())
print(len(res2.read()))

print('第三种方法')
cj = CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
res3 = urllib.request.urlopen(url)
print(res3.getcode())
print(cj)  # 打印网页cookie
print(res3.read())  # 打印网页源代码

下载地址： http://download.youkuaiyun.com/detail/sunflowerduidui/9480365