python_轻量级爬虫开发2

本文深入探讨了Python中网页下载器的使用,从基础的urllib2模块开始,到更加强大的request包。通过具体实例展示了如何使用urllib2进行网页下载,包括直接请求、添加数据、http header以及处理特殊情景如登录、代理、加密协议等。详细步骤及代码示例帮助读者掌握网页下载的关键技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

网页下载器:

Python有哪几种网页下载器?

urllib2 :Python官方基础模块

request : 第三方包更强大


urllib2下载网页方法1:最简洁方法

url      = >        urllib2.urlopen(url)

# coding=utf-8
import urllib2

#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码
print response.getcode()
#读取内容
count = response.read()
print count


urllib2下载网页方法2:添加data,http header

简单的来说就是操作http层通信报头,报文。



urllib2下载网页方法3:添加特殊情景的处理器

HTTPCookieProcessor:有些网页需要用户登录才能处理,我们用HTTPCookieProcess

ProxyHandler:有些网页需要代理才能访问,我们用ProxyHandler

HTTPSHandler:有些网页是加密的https协议,我们使用HTTPSHandler

HTTPRedirectHandler:有些网页URL是自动的调整关系,我们使用HTTPRedirectHandler


# coding=utf-8
import urllib2,cookielib

#创建cookie容器
cj = cookielib.CookieJar()

#创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener
urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页
response = urllib2.urlopen("http://www.baidu.com")

print response.read()




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值