Cong_dim的博客

selenium基本用法import timefrom selenium import webdriverclass Tjgb: def __init__(self,url,if_headless=False): self.chrome_driver_path = r'D:\Python3.6\Scripts\chromedriver.exe' self.binary_location = r'C:\Program Files (x86)\Google\Ch

一、定位js的三种方式1、initiator2、search3、通过点击事件Event Listeners二、代码实现有道翻译import timeimport randomimport hashlibimport requestsimport jsonreq = requests.session()class YouDao: def __init__(self,words): self.url = 'https://fanyi.youdao.com/tr

爬虫第三篇一、布隆过滤器二、分布式爬虫1、介绍2、scrapy-redis组件三、js逆向（破解知乎）四、手机爬虫（appnium）五、抓包工具一、布隆过滤器1 bloomfilter：是一个通过多哈希函数映射到一张表的数据结构，能够快速的判断一个元素在一个集合内是否存在，具有很好的空间和时间效率2 数组：连续存储的内存空间，取值，改值效率高；插入值，删除值效率低3 链表：不连续的内存空间，可变长。取值，改值效率低；插入删除效率高4 你现在看到的所有数据结构，本质就是数字，字符串，布尔，数组，链

爬虫第二篇一、scrapy配置参数二、scrapy持久化1、写在文件中cnblogs.json (这个不需要记)2、存在数据库中（常用）三、请求传递参数四、提高爬虫效率五、scrapy中间件1、下载中间件 MyfirstscrapyDownloaderMiddlewareprocess_requestprocess_response2、爬虫中间件MyfirstscrapySpiderMiddleware(了解)六、集成selenium七、去重规则1、scrapy中默认去重2、自定义去重（自己写一个）一、

爬虫第一篇一、xpath的使用二、selenium爬取京东商品信息三、scrapy架构介绍和安装1、scrapy安装2、scrapy的架构3、目录介绍四、scrapy的简单使用一、xpath的使用1 css xpath 通用的2 XPath 使用路径表达式在 XML 文档中选取节点3 lxml模块为例，讲xpath选择（selenium，scrapy---》css/xpath）4 用法： / # 从当前节点开始选择，子节点 // # 从当前节点开始选择，子子节点 @选取属性a[@hr