爬虫系列17.urllib2模块-优快云博客

本文链接：https://blog.youkuaiyun.com/runnoob_1115/article/details/78545586

本文介绍了Python中的urllib2模块，包括如何使用urlopen函数获取网页数据，如何发送带参数的POST请求，以及如何设置请求头来模拟浏览器行为。通过实例展示了如何实现网页登录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.urllib2简介
    urllib2提供一个基础函数urlopen，通过向指定的URL发出请求来获取数据。最简单的形式就是
    import urllib2
    response = urllib2.urlopen(url）
    html = response.read()
    基于请求响应模型，上述过程可以分为两步：
    1.指定一个域名，并发送一个请求。
        request=urllib2.request(url)
    2.服务器端响应来自客户端的请求。
        response = urllib2.urlopen(request)


2.向网页提交数据的请求。urllib2翻译为
import urllib
import urllib2
url = 'http://www.douban.com'
info = {'name' :' Michel','location':'Beijing'}
data = urllib.urlencode(info) # info需要被编码成urllib2能理解的格式，这里用到的是urllib.
req= urllib2.Request(url,data)
response = urllib2.urlopen(req)
the_page = response.read()


3,伪装信息包含在请求头header中
import uellib
import urllib2

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; W indows NT)'
values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

模拟登录人人网
![这里写图片描述](http://img.blog.youkuaiyun.com/20171115220003714?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcnVubm9vYl8xMTE1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)