Http拦截

---

前言：为什么要使用http拦截

大多数爬虫玩家会直接选择API请求数据，但是有的网站需要解决扫码登录、Cookie校验、数字签名等，这种方法实现时间长，难度高。需求里面不需要高并发，有没有比较亲民的方法呢，答案是有的！

---

一、技术调研

通过百度搜索python实现http拦截，发现方法有很多，有使用抓包软件、有使用中间人…基本都需要安装证书、设置代理，操作起来非常麻烦，小白很有可能在配置环境的时候就放弃选择了。

二、技术选择

1. Seleunim:实现请求拦截需要配合使用浏览器扩展工具，需要指定webdirve版本，还是比较麻烦。
2. Mitmproxy：实现拦截请求，需要安装证书、设置代理非常麻烦，直接放弃。
3. 抓包软件：需要安装抓包软件进行抓包转发，对用户体验不好。
4. Playwright：只需要安装官方谷歌浏览器，可以轻松实现http、websocket拦截。

最终采用的方案为