freeking101的博客

接口：https://mall.shopee.co.th/api/v4/pages/get_category_tree。shopee 网页访问时，直接弹出使用 app 登录查看，那就登录 shopee 泰国站点 app。Cookie 不用说，登录后的授权，其他其他参数经分析都是在 app 中生成的。shopee 泰国站点：https://shopee.co.th/Af-Ac-Enc-Sz-Token: 一大串字符。这里使用 第三种方法：通过 frida 的 rpc。: 请求的cookie。

爬虫 可视化 管理平台：scrapyd、Gerapy、Scrapydweb、spider-admin-pro、crawllab、XXL-JOB

由于 Scrapy 框架很复杂，它的学习成本也非常高，学习的道路上布满了很多坑，并且都很难找到解决办法。对于初学者来说，学习 Scrapy 框架需要极大的耐心和勇气feapder 是一款上手简单，功能强大的Python爬虫框架，内置 AirSpider、Spider、TaskSpider、BatchSpider 四种爬虫解决不同场景的需求。

加密解密：base、Unicode、escape、URL/HEX、md5、sha、hmac、rsa、PBKDF2、aes、des、sm、js混淆系列、cyberchef、ctf工具

手机安装 app ，设置代理，然后开始抓包。发现数据没法解密，查看请求的 url 是 http://lbs.jt.sh.cn:8082/app/rls/monitor，使用 jadx 反编译 app 后搜索这个 url（提示：可以只搜索 url 中一部分，因为请求的 url 可能时好几部分拼接而成的），这里搜索 rls/monitor，点进去，然后在 右键 ---> 查找用例再点进去127 行是 添加 post data，和上面抓包结果可以对应上，所以这部分代码就...

可以说，利用 Develop Tools 实现的功能我们都可以通过 Chrome DevTools Protocol 实现，Chrome 自己也内置了一个官方的实现，用 Chrome 直接访问页面信息的 devtoolsFrontendUrl 即可看到，和按 F12 调用出来的 Develop Tools 基本一模一样。如果你想看看页面在远程服务器的 Chrome 里渲染的结果，在开发者工具里切换到 Performance，勾选 Screenshots，点刷新图标，重新加载完成就可以看到逐帧加载的截图。

Python执行js (PyExecJS/node.js/Playwright/STPyV8/quickjs)、google翻译、百度翻译、有道翻译、百度指数

如何在Xvfb中运行Selenium？：https://cloud.tencent.com/developer/ask/107705Is there a Windows equivalent to PyVirtualDisplay：https://stackoverflow.com/questions/43270513/is-there-a-windows-equivalent-to-p...

Beautiful Soup 是 python的一个库，主要用来解析 html 或者 xml，然后生成 dom 结构树。可以自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。Beautiful Soup 3 已经停止开发，推荐使用 Beautiful Soup 4bs3 以及更早的都是驼峰方法命名方法。在 bs4 中还可以使用，但是不推荐bs4 都是使用下划线方式命名方法，为了保持好的编程风格，推荐使用下划线命名的方法。

字体反爬也就是自定义字体反爬，通过调用自定义的ttf文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容！

Python http库：requests ( 使用 session、cookie )、httpx、PycURL、you-get、wget、ffmpeg、下载 "图片、音乐、视频"

http抓包在 web 渗透上占据着非常重要的地位，这方面的工具也非常多，像 burp suite， Fiddler，Charles 每个都是搞 web 的必备神器。mitmproxy 是基于 python 编写定制脚本的代理拦截工具。anyproxy 是基于 JavaScript 编写定制脚本，功能与 mitmproxy 基本一致

使用 Appium 抓取手机 app 微信朋友圈

Python 通过 xpath、CSS 解析 HTML / XML、scrapy 内置 ( xpath、re、css )、LinkExtractor

From：http://www.blog2019.net/post/138?visitePosition=51整体概述1.1编写目的本文主要用于描述微信采集过程中，各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式，以及采集过程中遇到的问题等。1.2整体架构微信数据采集主要...

python 爬虫：单进程、多线程、多进程、异步

Downloader Middleware (下载中间件) 是 Scrapy 中处理请求/响应 的 hook(挂钩) 框架。是处于 Scrapy 的 Engine 和 Downloader 之间的处理模块。用于全局更改 Scrapy 的请求和响应。

Scrapy源码分析：框架结构、数据流程、启动流程、核心组件初始化、抓取流程

追踪(CrawlSpider)、过滤(布隆过滤)、去重、解析

Selenium、PhantomJS、selenium反检测、cdp ( ichrome )、Playwright、DrissionPage

分布式爬虫 scrapy-redis、集群

1. Fiddler 设置这是使用 fiddler 进行手机 app 的抓包，也可以使用 Charles，burpSuite 等。。。电脑安装 Fiddler， 手机 和 安装 fiddler 的电脑处于同一个网络里， 否则手机不能把 HTTP 发送到 Fiddler 的机器上来。配置 Fiddler，允许"远程连接"。用 Fiddler 对 Android 应用进行抓包启动Fiddler，打开菜单栏中的 Tools > Fiddler Options，打...

scrapy 教程、实战

爬虫教程（ 1 ）--- 爬虫教程、路线、spidertools、大佬博文