data_scientist的博客

#_*_ coding:UTF-8 _*_import cookielibimport urllib2import sysreload(sys)sys.setdefaultencoding('utf-8')cookie=cookielib.MozillaCookieJar()cookie.load('cookie.txt',ignore_expires=True,ignore_disca

-- coding: utf-8 --import sys import urllib,urllib2 from scrapy.selector import Selector import cookielib import hashlib reload(sys) sys.setdefaultencoding(‘utf-8’)url=’https://passport.youkuaiyun.com

以下代码实现使用谷歌浏览器的cookie登录京东网站并获取订单列表# -*- coding:'utf-8' -*-import sqlite3import cookielibimport urllib2import os,sysimport win32cryptdef build_opener_with_chrome_cookies(domain=None): cookie_fil

# -*- coding: utf-8 -*-"""加载cookies文件，使用requests库爬取数据并动态更新cookies，可以使cookies不失效"""import pickleimport timeimport requestsimport randomclass Spider: def __init__(self,domain='51job.com'):

def set_login_params_Job51(self): """ 51Job登录配置 2017-06-06 17:36 由于51Job的验证码是中文,所以这里仅仅采用chromeDriver打开Chrome浏览器, 自行在页面输入用户密码进行验证(60s内输入用户密码和验证码),然后程序通过定期访问页面来保持页

适用于没有验证码登录，直接post参数登录的方式# -*- coding: utf-8 -*-import timeimport randomimport pickleimport cookielibimport osimport urllib2,urllibfrom selenium import webdriverimport sysreload(sys)sys.setdefa