爬虫cookie的获取与使用

# coding=UTF-8



1.打印cookie

import http.cookiejar
import urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
for item in cookie:
    print(item.name + "=" + item.value)



2.MozillaCookieJar对象生成cookie文件
from http import cookiejar
from urllib import request
#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie3.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookiejar.MozillaCookieJar(filename)
#利用urllib库的HTTPCookieProcessor对象来创建cookie处理器
handler = request.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = request.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)


#3.MozillaCookieJar获取文件
from http import cookiejar
from urllib import request
cookie=cookiejar.MozillaCookieJar()#声明CookieJar对象实例来保存cookie
cookie.load('cookie.txt',ignore_discard=True,ignore_expires=True)#从文件中读取内容到cookie变量中
handler=request.HTTPCookieProcessor(cookie)#处理器
opener=request.build_opener(handler)
print(opener.open('http://www.douban.com').read())
'''
由此可见，ignore_discard的意思是即使cookies将被丢弃也将它保存下来，
ignore_expires的意思是如果在该文件中cookies已经存在，则覆盖原文件写入，
在这里，我们将这两个全部设置为True。运行之后，cookies将被保存到cookie.txt文件中，
'''



#4LWPCookieJar创建cookie文件
from http import cookiejar
from urllib import request
#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie31.txt'
cookie = cookiejar.LWPCookieJar(filename)
#利用urllib库的HTTPCookieProcessor对象来创建cookie处理器
handler = request.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = request.build_opener(handler)
#创建一个请求，原理同urllib的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

#5LWPCookieJar获取cookie文件，访问网页
from http import cookiejar
from urllib import request
cookie=cookiejar.LWPCookieJar()#声明CookieJar对象实例来保存cookie
cookie.load('cookie.txt',ignore_discard=True,ignore_expires=True)#从文件中读取内容到cookie变量中
handler=request.HTTPCookieProcessor(cookie)#处理器
opener=request.build_opener(handler)
print(opener.open('http://www.douban.com').read())


'''
注意:MozillaCookieJar与LWPCookieJar用同样的获取和使用 2，3和4,5
'''