在爬虫中cookie是非常有用的,可以解决反爬,封号等问题。接下来我们来说说获取cookie的集中方式。
这里采用python2.7,本来我都是用python3.6的,来了公司之后,公司适用版本2.7,就2.7咯,反正就写法上面有一些区别
第一种:mechanize
首先我们要使用mechanize,第一步:
pip install mechanize
第二步编写获取cookie代码:
import os import mechanize import cookielib,re br = mechanize.Browser() cj = cookielib.LWPCookieJar() br.set_cookiejar(cj) br.set_handle_equiv(True) br.set_handle_gzip(True) br.set_handle_redirect(True) br.set_handle_referer(True) br.set_handle_robots(False) br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1) br.set_debug_http(True) br.addheaders = [('User-agent', '用户ua')] br.set_proxies({ "http": "代理"}) response = br.open('https://www.amazon.com') cj = br._ua_handlers['_cookies'].cookiejar for cookie in cj: print("cookieName:"+cookie.name) print("cookieValue:"+cookie.value) cookie = [item.name + ":" +