玛卡`三少 的博客

Python爬虫之Js逆向案例(2)-知乎搜索声明：知乎加密逆向分析仅用于研究和学习大家好，今天继续分享关于知乎关键词搜索接口为案例的Js逆向实战。如果你是一名新手，而且还没有来得及看上一篇《Python爬虫之Js逆向案例(1)-知乎搜索》的话，建议你先去看完再来看这一篇，因为里面有很多有利于新手实操的高能总结，还包含了一些js调试技巧，上一篇里中总结的内容在后续案例中不会再那么详细的讲了，不然有些冗余，见谅哈！；今天的内容是在昨天的基础上继续深入。通常情况下，我们的爬虫肯定不只是取第一页的数据，例如

快速整理头条关键词数据工具，学习效率妥妥翻倍!!!

快速整理微博关键词数据工具，学习效率妥妥翻倍！！！

大家好，应同学们私信要求，出一篇关于微博博主已发布的内容脚本可视化的案例，于是整理了一下，仅供学习参考。

结合爬虫技术实现知乎热榜数据的实时抓取与可视化呈现。简单易用的界面设计，助你轻松玩转数据挖掘与分析

微博可视化版爬虫案例来了！！！支持多线程、二次开发、、、。源码在本公众号《【爬虫实战】可视化版—爬取微博任意关键词搜索结果、自动翻页、多线程》

解决Python文件读写中特殊字符导致异常的问题，介绍了os.path.normpath的作用，强调其在确保路径一致性、跨平台支持和避免意外错误方面的重要性。通过规范路径，提高代码的可靠性和可移植性。

深入了解PyQt5，一个基于Gt库的Python模块。本文简要介绍PyQt5的优势和用途，助你踏入GUI开发的精彩世界。

本文介绍了使用Python爬虫实战技术，批量爬取优快云博主的全部文章，包括案例源码和可执行文件。读者将学会如何利用爬虫工具快速获取大量信息，为日常工作和研究提供便利。

如果数据是来自服务端API接口，当你按上图操作翻页时，右侧空白面板处会出现请求记录，此时页面数据就是通过接口返回的；如果像上面这种，翻页操作之后还是空白，说明数据不是通过接口返回的。对于一个目标网站，该如何快速判定页面上的数据来源？首先你需要简单web调试能力，对大多数开发者来说都chrome浏览器应该是不二选择，当然我选中的也是。爱学习的小伙伴，本次案例的完整源码，已上传微信公众号“一个努力奔跑的snail”，后台回复。注意如果不是首次添加数据，需要使用mode='a’追加模式，这样加入的数据没有表头；

掌握Pandas核心API，助你高效处理数据，学会读写CSV、选择过滤、缺失值处理等技巧，深化Python数据分析能力。

1.交互式配置；2.两种任意关键词来源（直接输入、本地关键词文件）；3.自动翻页(无限爬取)；4.指定最大翻页页码；5.数据保存到csv文件；6.程序支持打包成exe文件；7.项目操作说明文档；

解释：这个函数允许你创建一个视频写入对象，以便将视频帧写入到一个新的视频文件中。解释：CAP_PROP_FRAME_COUNT 是 cv2.VideoCapture 对象的一个属性，用于获取视频文件中的总帧数。解释：FourCC 是一个4字节的代码，用于标识视频编解码器。解释：这个函数允许你创建一个视频捕获对象，以便从指定的视频源中读取视频帧。你可以传递视频文件的路径或摄像头的索引作为参数，然后使用它来逐帧读取视频。作用：用于将视频帧写入到一个新的视频文件中。作用：用于从视频文件或摄像头捕获视频帧。

注意：hot_search 是spider中的name。爱学习的小伙伴，本次案例的完整源码，已上传微信公众号“settings.py配置项修改。

爱学习的小伙伴，本次案例的完整源码，已上传微信公众号“一个努力奔跑的snail”，后台回复**“故事会”**即可获取。注意：author 是spider中的name。

视频尺寸为16:9，视频格式.mp4，兼容各个短视频平台！更多精彩案例、实战完整源码，已上传微信公众号，后期分享更精彩！开发不易，获取完整项目源码需要一点费用，非诚勿扰！支持设置每个视频添加不同音频视频数量；python批量将文本生成短视频1。python批量将文本生成短视频2。python批量将文本生成短视频3。支持mac、windows平台；支持设置文本上下左右边距；支持设置视频末尾静止时间；支持设置视频前静止时间；支持设置上下左右边距；支持设置视频滑动速度；

pyinstaller 工具打包时默认只会打包项目中的py文件，但实际项目中可能存在其它文件例如，images文件夹、audios文件夹、其它资源文件夹，这类文件夹不配置的话，在运行exe时会提示找不到目录；如果安装的是3.10.X版本，经测试发现在安装打包环境时提示包版本问题，导致报错、、、，未减少麻烦，所以直接安装3.8.X版本；5.更好的可移植性：通过将虚拟环境与打包工具一起使用，您可以创建一个独立于系统的可执行文件，这意味着您可以在不同的操作系统上运行它，而不必担心依赖项问题。

爬取任意问题下的所有回答，如下图：1.根据问题，批量获取问题下的所有回答、与对应问题的关系到answer.csv文件；2.保存当前问题基本信息到quesiton_info.csv文件；

根据输入的任意关键词，整理出关键词相关话题，并收集符合条件话题的id、话题链接；如下图：1.综合搜索tab栏展示结果比较全面，但该栏数据包含小说、视频，因此拿到结果需要过滤；2.只保存三种类型的文章作后续分析：话题、专栏、严选内容；3.数据保存格式 *.csv;

1. 根据待爬文章url(文章id)批量保存文章到本地；2. 支持将文中图片下载到本地指定文件夹；3. 多线程爬取；

一次性把待爬关键词放到keywords.csv文件中，每个关键词放一行。爬虫使用scrapy框架编写，分布式、多线程。输入搜索内容，获取搜索结果，进行保存。

如果是你手动改的，可能英文驼峰规范对不上导致问题，其它代码都正常死活识别不出来。原因是爬虫类名不是用命令创建的，因为后期手动改过，所以自己想当然的手动改了名字；我逐个都检查了一遍发现都不是上述问题，最后一点点排查后终于找到问题，坑爹！这个时候新建出来的没问题，部署都是正常的。常规情况创建，使用命令。

Scrapy框架Jd实战练习，效果简直666呀！快来围观！

总结：程序一键运行，过程中错误中断自动保存日志到log文件，方便后续分析！

大家好，本期分享的内容是一个关于批量获取话题的案例！示例URL：部分细节不在重复，只说差异：下面会进行以下几步进行分析（下方演示过程全部使用chrome浏览器）；

jsrpc的原理是利用websocket通信技术实现的通过调用socket服务，通知放在浏览器端的socket执行相关代码，拿到结果后客户端发送给服务器，然后再返回给接口调用者技术（个人理解，不一定很准确），说白了就是websocket的具体应用罢了！

大家好，本期分享的内容是一个关于批量获取知乎答案的案例，本案例的重点是教大家在写爬虫时如何更规范的去编写自己的爬虫。场景是这样的，最近在帮一位同学排查几个爬虫问题，于是乎我三生有幸看到了这位工作几年的老哥写的爬虫代码，中间过程我就省略了，一句话总结就是：写的代码很好，下次不许再写了！！！至少以后别再让我给你排查bug了、、、那个痛苦的过程，给你排查bug差点让我改行、、、；所以本次用批量爬取知乎问题的答案为案例来简单介绍一下我是如何编写一个爬虫的，以至于让我排查问题时如此高效！！！

webpack官网中的一句原话是这样说的：本质上，webpack是一个现代JavaScript应用程序的静态模块打包器(module bundler)。当 webpack处理应用程序时，它会递归地构建一个依赖关系图(dependencygraph)，其中包含应用程序需要的每个模块，然后将所有这些模块打包成一个或多个 bundle。正如上面描述的一样，这个东西就是一款现代化的前端模块打包工具而已！！！它是打包工具跟我们逆向有什么关系？？？有关系呀！

最近收到小伙伴们的私信，说如何将爬取的数据批量存到数据库中？数据入库也是童鞋们必须掌握的技能！数据回来之后，肯定需要存放，实效高、数量少的可能大多存放在cvs文件中，通常情况都是要存放到数据库的，本案例以掘金综合列表数据为例进行演示！

大家好，在上一节我们通过知乎的x-zst-81进行熟悉了webpack，在文章中我们认识了webpack打包后的产物、如何扣代码，不过知乎的大包后的文件非常的庞大，对新手来说，扣代码可能有些难度，为了更透彻的讲解webpack打包逆向，今天打算选用一个简单的案例继续练习webpack逆向，这节可能是的最后一节有关webpack的案例了，所以希望童鞋们在练习的时候能完全掌握！！！下面会进行以下几步进行分析（下方演示过程全部使用chrome浏览器）；webpack。

大家好，举例上次分享js逆向案例已经有一个月了，在这期间每次在快要揭秘出来时、整理文章的时发现某乎的加密又又又更新了、、、，导致近期长时间没有更新文章了。同时也收到了很多童鞋的催更，这里说一下哈，并不是我忘记了，或者懈怠了，只是一直在从头逆向某乎而已、、、为了继续更新逆向100例，我决定先暂停某乎的文章输出，等稳定了在案例一下，不然今天扣的代码明天又不能用了、、、，还是先分享其他平台的案例吧，这里就不多说了哈！！！今天的案例对象是，如果有同学想做一个类似划词翻译的浏览器插件的，或者开发一个vscode。..

声明：XX手机社区加密逆向分析仅用于研究和学习这篇文章的学习内容是以XX手机社区为案例，对逆向的整个过程进行详细分析；下面会进行以下几步进行分析（下方演示过程全部使用浏览器）；进入社区，随便操作一下即可锁定查询接口，如下图：我们多请求几次，对比一下请求数据，找到可疑的加密参数，发现请求头里没有变化的参数，请求参数里有一个字段每次都不一样，那应该就是这个字段了，下面老规矩，我们搜索这个字段，看看它是如何加密的(根据之前总结的经验，有没有能猜出来这个像哪种加密的数据？)搜索一下，发现两个地方出现该字段，而且