python爬虫-cookie

最新推荐文章于 2025-08-09 10:17:13 发布

rosepicker

最新推荐文章于 2025-08-09 10:17:13 发布

阅读量245

点赞数

分类专栏： python 文章标签： python

python 专栏收录该内容

10 篇文章

订阅专栏

本文介绍如何使用Python的cookielib库抓取网站Cookie并进行管理，包括保存到变量、文件及再次加载使用的方法。同时展示了如何利用Cookie实现网站登录及成绩查询等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Cookie指某些网站为了辨别用户身份，进行session跟踪而存储在用户本地终端上的数据（经过加密）。

例如：网站的某些页面必须登录后才可以抓取，但你通过urllib2库保存我们登录该网站的Cookie，就可以对该页面进行抓取。

cookielib提供可存储cookie的对象，通过本模块的CookieJar类的对象来捕获cookie并在后续连接请求是重新发送。

1)抓取Cookie保存到变量

import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法，也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value

2)保存Cookie到文件

import cookielib
import urllib2
 
#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

ignore_discard表示即使cookies将被丢弃也将它保存下来，ignore_expires表示在该文件中cookies已经存在，则覆盖原文件写入。

3)从文件中获取Cookie并访问

import urllib2
 
#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

4)利用cookie模拟网站登录

import urllib
import urllib2
import cookielib
 
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            'stuid':'201200131012',
            'pwd':'23342321'
        })
#登录教务系统的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模拟登录，并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址，此网址是成绩查询网址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()