python_轻量级爬虫开发2

最新推荐文章于 2025-12-04 22:56:41 发布

原创最新推荐文章于 2025-12-04 22:56:41 发布 · 538 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #架构

笔记专栏收录该内容

169 篇文章

订阅专栏

本文深入探讨了Python中网页下载器的使用，从基础的urllib2模块开始，到更加强大的request包。通过具体实例展示了如何使用urllib2进行网页下载，包括直接请求、添加数据、http header以及处理特殊情景如登录、代理、加密协议等。详细步骤及代码示例帮助读者掌握网页下载的关键技巧。

网页下载器：

Python有哪几种网页下载器？

urllib2 ：Python官方基础模块

request ：第三方包更强大

urllib2下载网页方法1：最简洁方法

url = > urllib2.urlopen(url)

# coding=utf-8
import urllib2

#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码
print response.getcode()
#读取内容
count = response.read()
print count

urllib2下载网页方法2:添加data，http header

简单的来说就是操作http层通信报头，报文。

urllib2下载网页方法3：添加特殊情景的处理器

HTTPCookieProcessor:有些网页需要用户登录才能处理，我们用HTTPCookieProcess

ProxyHandler:有些网页需要代理才能访问，我们用ProxyHandler

HTTPSHandler:有些网页是加密的https协议，我们使用HTTPSHandler

HTTPRedirectHandler:有些网页URL是自动的调整关系，我们使用HTTPRedirectHandler

# coding=utf-8
import urllib2,cookielib

#创建cookie容器
cj = cookielib.CookieJar()

#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com")

print response.read()