Ewan的博客

python爬虫获取以及使用cookie首先获取cookie：@logger.catch()def get_cookie(): cookie_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome / 53.0.2785.143Safari / 537.36', 'Connection': 'ke

最近需要twitter数据进行爬取，申请了开发者账号但是被拒了，没得办法，只能另寻它路，平时使用tweetdeck看twitter，所以针对twitter研究入手，本文从研究分析开始记录一下完整的费劲过程。目录一、分析tweetdeck网站1、登录账号关注的人的tweets内容1.1首次请求数据的链接：1.2更新数据的请求连接：1.3下滑滚动的数据请求链接：2、搜索数据...

try: logger.debug('执行try') # response = requests.get(url) cookies = dict(_ga="***", __q**="****",_gid="***", update_time="***", ****="*******") ss...

# -*- encoding:utf-8 -*-import osimport tracebackfrom selenium import webdriverfrom selenium.webdriver import ChromeOptionsimport timefrom threading import Threadfrom config import *from log...