爬虫技术详解与反爬策略-优快云博客

本文链接：https://blog.youkuaiyun.com/he___H/article/details/113448640

本文介绍了爬虫的基础知识，包括数据获取渠道、抓包分析工具如Charles、Packet Capture和mitmproxy的使用。此外，还探讨了爬虫与反爬虫的斗争，涉及IP限制、验证码破解、登录限制、数据伪装、参数签名和隐藏验证等反爬策略，以及代理服务器的选择和使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据获取渠道
1.网站
2.手机APP
3.小程序
4.搜索引擎

抓包分析工具

1.Charles（不了解）
支持的代理类型：HTTP代理、HTTPS代理、Socks5代理。
注意：1.在移动端配置时，由于Android的某些应用会忽略系统的全局代理，所以Charles无法获得流量，可以借助Postern进行流量的转发。
2.Android 7及iOS系统引入了SSL Pinning技术，在解密时需要安装Charles的证书。

绕过SSL Pinning 的方法有：
·使用Android 7 以下版本的手机
·破解Android 7 以上的手机并进行root，安装Xposed框架，然后安装JustTrustMe进行破解；或者对root过的手机使用Frida结合Universal Android SSL Pinning Bypass with Frida脚本。

2.Packet Capture （不了解）
与Charles相比的不同：
·只能在手机上抓取、查看。
·不能修改网络流量。
·能针对特定的APP进行流量拦截。
·以VPN的形式提供服务，可以抓取设置代理后无法工作的软件。

3.mitmproxy
可以在终端下运行，并且可以用来拦截、修改、重放和保存HTTP/HTTPS请求。与Charles不同的是，mitmproxy可以利用Python脚本进行定制化的操作，通常来讲，我们会用Charles进行一系列分析，在需要拦截、修改、保存请求时再使用mitmproxy工具及其脚本。

爬虫和反爬虫的斗争

爬虫基础知识