不愿意透露姓名的网友

Appium 是一个开源的、跨平台的自动化测试工具，主要用于测试移动应用（包括 iOS 和 Android 平台）以及移动网页应用。它允许开发者和测试工程师使用统一的 API 来编写自动化脚本，从而在不同的平台上执行测试，无需针对每个平台单独编写代码。可以理解为手机端的selenium。b站教程学习这个的主要目的是为了使用adb+mitmproxy来截取手机包，虽然慢一点，但是可以解决一些问题。

TLS 指纹也叫 JA3 指纹，是指在 TLS 握手过程中，客户端（通常是浏览器）向服务器发送的特定参数组合，这些参数形成了独特的 “数字足迹”，可用于识别设备、浏览器或用户。形成原理：TLS 指纹主要由 TLS 握手过程中的多个参数构成，包括 TLS 版本，如 TLS 1.2 或 TLS 1.3；客户端支持的加密算法组合及优先级顺序，如 AES_256_GCM、CHACHA20_POLY1305 等；TLS 扩展，如 SNI、ALPN等；椭圆曲线算法，如 secp256r1、curve25519；

字体加密是页面和前端字体文件想配合完成的一个反爬策略。通过css对其中一些重要数据进行加密，使我们在代码获取的和在页面上看到的数据是不同的。前端人员通过使用font-face来达到这个目的，font-face是CSS3中的一个模块，他主要是把自己定义的Web字体嵌入到你的网页中。而font-face# 定义字体的名称。# 定义该字体下载的网址，包括ttf,eof,woff格式等我们要打开我们抓包一个字体文件，在Font那一列，复制这个url到浏览器就可以下载下来。

免费代理网站和UA大全

安卓手机端抓包神器vnet

mitmdump是mitmproxy所提供的命令之一。它提供类似于tcpdump的功能，让您可以查看、记录和以编程方式转换HTTP流量。

最详细的Charles介绍，包含安装，使用，功能介绍。

该问详细介绍抓包软件Fiddler

加我+看美羊羊洗澡视频

eval(string) ，可计算某个字符串，并执行其中的的 JavaScript 代码。有返回值。

Webpack 是一个前端资源加载/打包工具。它将根据模块的依赖关系进行静态分析，然后将这些模块按照指定的规则生成对应的静态资源。

无限debugger+调试干扰+内存爆破解决方案

文章目录一、了解什么是hook?二、fiddler插件三、常见的hook代码总结1.Hook Cookie2.Hook Header3.Hook URL4.Hook JSON.stringify5.Hook JSON.parse6.Hook eval7.Hook Function一、了解什么是hook?在 JS 逆向中，我们通常把替换原函数的过程都称为 Hook。一般使用Object.defineProperty()来进行hook。那么我们了解一下该方法的使用。Object.definePrope.

AES需要知道密钥才能解密。分组密码加密中的四种模式有ECB、CBC、CFB、OFB。其中最常见的有ECB和CBC。1、ECB模式对明文分组，每组明文通过加密算法和密钥位运算得到密文，之后按照顺序将计算所得的密文连在一起即可，各段数据之间互不影响。2、CBC模式（使用最多的模式）CBC模式需要一个初始化向量iv（和密钥长度相等的字符串），一般通过密钥生成器获取。首先将数据分组得到D1D2…Dn第一组数据D1与初始化向量iv位运算的结果进行加密得到第一组密文C1。

1.python安装scrapy模块2.scrapy爬虫架构Scrapy 是一个快速、高层次的基于 python 的 web 爬虫构架，它用于抓取web站点并从页面中提取结构化的数据。可以更容易构建大规模的抓取项目；Scrapy 使用了 Twisted异步网络库来处理网络通讯。异步处理请求，速度非常快。Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy 可以使用自动调节机制自动调整爬行速度。

多进程和多线程和协程创建的爬虫可以实现快速抓取

一、 ✌为什么要使用代理IP？使用自己本地的IP 利用爬虫技术获取某个网站信息的时候，IP 地址突然被封掉，会导致我们正在做的事情受到非常大的影响，甚至造成一定的损失。因此使用代理IP就尤为重要了！二、✌代理IP的原理代理实际上指的就是代理服务器， 英文叫作proxy server ，它的功能是代理网络用户去取得网络信息。形象地说， 它是网络信息的中转站。在我们正常请求一个网站时， 是发送了请求给web 服务器，web 服务器把响应传回给我们。如果设置了代理服务器， 实际上就是在本机和服务.

XPath是一种用于提取XML/HTML内容的语法，Python中可通过lxml模块实现。主要功能包括：1）将HTML/XML转换为文档树（etree.HTML/XML）；2）使用路径表达式、通配符和谓语定位节点；3）支持多路径匹配（|连接）；4）提供contains()、text()等常用函数；5）获取文本内容的两种方式（text()和.text属性）；6）通过etree.tostring()将对象转为字符串。使用时需注意XPath中的序列从1开始，且支持位置限定、属性筛选等操作。

1.selenium：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能，尽管在不同的浏览器上依然有细微的差别。使用简单，可使用Java，Python等多种语言编写用例脚本。3.安装selenium。

request-headers中的常见的key

了解cookie，session，token；并使用cookie和session进行模拟登录；

文章目录一、requests模块基础知识1.要切记python模块的包名requests2.使用步骤3.response对象①参数②响应内容的乱码问题4.查看网页使用的是get请求还是post请求的方法二、requests模块的get请求的三种情况1.没有请求参数的，比如百度的项目，只需要**填写请求头，封装user-agent**案例-----------百度产品2.带请求参数的，**基础url...

文章目录一、爬虫工程师的分类1.初级爬虫工程师2.中级爬虫工程师3.高级爬虫工程师二、认识爬虫1.爬虫定义2.爬虫解决的问题三、搜索引擎1.搜索引擎的工作流程2.搜索引擎的局限性四、爬虫分类五、爬虫准备工作1.robot协议2.网络地图sitemap3.估算网站大小4、为了更好的了解网站，抓取该网站的信息，我们可以先了解一下该网站大致所使用的的技术架构。5、获取网站所有者六、http和httpsh......