梅开二度，异常绚烂

分布式爬虫一、布隆过滤器二、分布式爬虫三、js逆向（破解知乎）四、手机爬虫（appnium）五、抓包工具 一、布隆过滤器 1、bloomfilter：是一个通过多哈希函数映射到一张表的数据结构，能够快速的判断一个元素在一个集合内是否存在，具有很好的空间和时间效率 2 数组：连续存储的内存空间：取值，改值效率高；；；插入值，删除值效率低 3 链表：不连续的内存空间，可变长：取值，改之效率低；；；插入删除效率高 3 你现在看到的所有数据结构，本质就是数字，字符串，布尔，数组，链表（列表，元组，字典，集合）

scrapy参数配置和持久化一、配置参数二、scrapy持久化三、请求传递参数四、提高爬虫效率五、scrapy中间件1、下载中间件 CnblogsSpiderDownloaderMiddleware2、爬虫中间件六、集成selenium七、去重规则1、scrapy使用的去重2、自定义去重规则 一、配置参数 # 是否遵循爬虫协议 ROBOTSTXT_OBEY = False # 浏览器类型（，默认写的是scrapy） USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WO

爬虫之scrapy模块一、xpath的使用二、selenium爬取京东商品信息三、scrapy架构介绍和安装1、安装和使用介绍2、scrapy架构介绍3、目录介绍四、scrapy的简单使用 一、xpath的使用 1、css、xpath通用的 2、xpath使用路径表达式在XML文档中选择节点 3、lxml模块为例，讲xpath选择（selenium，scrapy--->css/xpath） 4、用法： / ：从根节点开始选择，子节点 // ：从当前节点开始选择，子子孙孙节点 @ ：选

爬虫之selenium的介绍一、selenium的介绍二、selenium的使用三、模拟登录百度四、selenium的其他使用案例一案例二 一、selenium的介绍 1 自动化测试工具，控制浏览器，模拟人的行为，做爬虫为了解决使用requests模块无法执行ajax获取数据 2 使用selenium+半人工登录，获取cookie-----》给requests模块使用 二、selenium的使用 1 安装模块 pip3 install selenium 2 驱动浏览器（需要浏览器驱动---》不同去不同浏

爬虫之bs4模块一、爬取汽车之家新闻二、bs4模块之遍历文档树三、bs4模块之搜索文档树四、find_all的其他参数五、css选择器 一、爬取汽车之家新闻 # request模块（发送请求）+bs4（解析html的模块） # 汽车之家为例 # 环境依赖 - pip3 install beautifulsoup4 - pip3 install lxml import pymysql import requests from bs4 import BeautifulSoup res=requests.ge