记录学习过程，欢迎讨论交流~

思维导图总结

Appium介绍、node.js 安装、Java 的 SDK 安装以及配置、安卓环境的配置、Appium 安装、Appium 使用、案例

安装字体软件 FontCreator、百度智能云文字识别、安装 Tesseract

Js 逆向案例四网易云音乐评论

Js 逆向案例五闪职网登录

Js 逆向案例三凡科网登录

Js 逆向案例二微信公众平台登录

Js 逆向案例一英汉互译

爬虫、反爬虫、加密解密、常用加密方式、常见加密算法、JS 中常见的算法、MD5 算法、DES/AES 算法、RSA 算法、base64 算法、node.js 环境配置、PyCharm 环境配置

Scrapy-Redis 是 Scrapy 框架的一个扩展，用于实现分布式爬虫。它将 Scrapy 与 Redis 数据库集成，允许多个爬虫实例共享数据并协同工作，以提高爬取效率和可扩展性。Scrapy-Redis 使用 Redis 的集合来进行 URL 的去重处理。每个爬虫实例都会在将 URL 添加到队列之前检查它是否已经存在于集合中，以避免重复爬取。

Scrapy 核心文件、案例、Scrapy 下载中间件、Scrapy 爬虫中间件、Scrapy 下载图片、Scrapy CrawlSpider 全站爬取、Scrapy 模拟登录

Scrapy 框架安装问题

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

介绍、APP 爬虫常见反爬、APP 抓包常用工具、模拟器、安装 APP、fiddler、环境配置

超级鹰、图片验证模拟登录、滑块模拟登录、openCV、selenium 反爬、百度智能云 —— EasyDL

多进程是指同时运行多个独立的进程，每个进程有自己的地址空间和系统资源。多进程可以在多个处理器核心上并行执行任务，每个进程拥有独立的执行环境，相互之间不受影响。

用 Selenium 爬取网页时，当前访问的 url 就是爬虫当中的目标 url，获取内容只要是页面上可见的，都可以爬取（可见即可爬）。

正则案例：获取日期，天气，温度，风力数据。

Bs4（beautifulsoup4）是一个可以从 HTML 或 XML 文件中提取数据的网页信息提取库。

XPath（XML Path Language）是一种 XML 的查询语言，它能在 XML 树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航。XML 是一种标记语法的文本格式，XPath 可以方便的定位 XML 中的元素和其中的属性值。lxml 是 Python 中的一个第三方模块，包含了将 HTML 文本转换成 XML 对象和对对象执行 XPath 的功能。

JsonPath、CSV 文件读写、JsonPath + CSV 文件读写案例

内容乱码如果出现乱码，设置编码，编码格式跟网页源码当中 charset 的编码是⼀样的。处理不信任的证书SSL 证书遵守了 SSL 协议，在应用层。是由信任的数字证书颁发机构验证身份之后颁发的证书，同时具有服务器身份验证和数据传输加密功能。一般由专门的机构颁发的，也有的网站不希望别人爬取，会自己制作证书的，但是这种情况下，一般用户访问时需要手动安装证书。

Json 模块（json.dumps()、json.loads()、json.dump()、json.load()）、Post 请求、Post 请求携带 Json 参数案例

UA 反爬、Cookie 验证与反爬、Referer 反爬

爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。