Python爬虫开发-04--创建一个容器存放Cookie

最新推荐文章于 2025-10-01 06:19:22 发布

原创最新推荐文章于 2025-10-01 06:19:22 发布 · 381 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cookie #python #爬虫

PythonPro 专栏收录该内容

13 篇文章

订阅专栏

本文介绍如何利用Python中的urllib2和cookielib模块管理Cookies，实现自动登录网站并获取资源的功能。文章详细解释了Cookies的工作原理及如何创建支持Cookies的opener。

# encoding: utf-8
import urllib
import urllib2
import cookielib

'''
许多网站资源获取需要用户登录，登录后再次访问就不需要再次输入账号密码等信息了。
那么这个功能网站是如何实现的呢？
	一般的，用户登录之后，服务器会为该用户创建一个Session，Session相当于用户的私人档案，也可以等同于用户；
那么到底哪一次访问时输入该用户的呢？其实在登录的时候，浏览器存储了一个Session ID的Cookie值，每一次访问都带上该Cookie值，
服务器将Cookie值中的Session ID与服务器中的Session ID进行对比就可以得知请求访问资源的是哪一个用户了。

		其中，urllib2对Cookie的处理是自动的，使用CookieJar函数进行Cookie的管理
如果需要得到某个Cookie项的值：
_______________________________________________________________________________________________
我们在调用urllib2.urlopen(url)的时候，其实urllib2在open函数内部创建了一个默认的opener对象;
然后调用opener.open()函数,但是默认的opener并不支持cookie。
那么我们需要先新建一个支持cookie的opener,比如通过urllib2中的HTTPCookieProcessor()。

创建HTTPCookieProcessor需要一个存放cookie的容器。
Python提供的存放cookie的容器位于cookielib，有以下几个。
CookieJar -> FileCookieJar -> MozillaCookieJar / LWPCookieJar
'''
cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response = opener.open('http://zhihu.com')
html = response.read()
# print html

for item in cookie:
	print item.name + ':' + item.value,