某鱼数据抓取或监控（方案二）

已于 2022-10-26 19:35:52 修改
阅读量558 收藏 7
点赞数
文章标签： python
于 2022-10-26 14:49:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dingyape/article/details/127528076
版权

Frida hook函数rpc调用得到x-sign,wua,sgext,umt

效果图：

两部分代码：

server端：生成x-sign等参数

b13c5cab422a428589f98b4541010469.png

main端：构造请求获取数据

45042de93b07451c84e8b945b3a66796.png

视频演示

1666766025156

dingyape
关注
某鱼数据采集或监控（方案一）
dingyape的博客
06-05 4242
所用的技术： Frida(hook app可以抓包)。 Mitmdump(抓包软件，可以和python进行交互) Bat(自动化操作app,当然也可以使用按键精灵之类的软件) 开发环境： Windows10 安卓手机（安卓7.0以下不用管系统证书安装的问题，视频中演示的手机小米4真机。也可以使用雷电模拟器，别的模拟器不推荐，雷电模拟器4.0以上为安卓7版本，需要解决系统证书的问题） ...
某鱼APP x-sign x-mini-wua x-sgext 分析成果
热门推荐
PANGHU1103的博客
10-05 2万+
def get_sign(Pm): #这里是加密需要的字段 arg0 = Pm['appKey'] arg1 = Pm['utdid'] + "&" arg1 = arg1 + Pm['uid']+ "&" arg1 = arg1 + Pm['reqbiz-ext']+ "&" arg1 = arg1 + Pm['appKey']+ "&" arg1 = arg1 + Pm['datamd5']+ "&" .
23年最新某鱼APP 抓包分析成果
代码慈善家的博客
04-13 2366
某鱼app首先正常抓包是抓不到它的数据包的，因为使用了SPDY协议。因此需要用frida来实现禁用此协议才可以正常获取到数据包。运行frida代码之后我们再用fd进行抓包就可以获取到数据包了。我们就可以实现搜索。
某鱼x-sign，x-sgext，x-mini-wua
qq_68475837的博客
06-04 890
技术交流，希望有大神能指点指点在网上查了很多发没有一篇文章是模拟参数的不是卖接口的就是挂rpc的有文章说是在so文件里但是我技术不行根本找不到他用的那个so文件加载根本没找到地方调用。
闲鱼app关键词抓包案例，配合frida成功抓包
2301_76220439的博客
01-10 5725
此时无论怎么刷新，fildder都是无法抓到包的，没有任何反应，因为默认闲鱼走的不是http请求，所以需要用frida让闲鱼走http请求。用cmd，ipconfig获取到fiddler代理ip，再填入模拟器，关于fiddler的基础使用过程这里不过多阐述。hook思路很重要，用jadx反编译下apk查看源码，很容易可以看到要hook的包名类名。注意：此步骤需要提前安装好证书，如果是安卓6.0以上请把证书安装到系统证书目录。如果在cmd窗口里的包列表里看到闲鱼就代表启动成功了。
智能爬虫管理：定制化数据抓取方案为企业赋能
zhou6343178的博客
07-24 971
在数据驱动的时代，精准而高效的数据抓取成为企业决策的命脉。本文将探讨如何通过定制化的智能爬虫管理方案，赋能企业实现数据洞察力的飞跃。我们将深入解析定制化数据抓取的核心优势，分享成功案例，并揭秘如何利用这一技术优化业务流程，同时引入一款推荐工具增强数据采集体验。
全球数据爬取的解决方案-国外数据爬取(亮数据)
程序员蒋老湿的博客
04-27 2974
是一家在以色列的互联网公司，他们的主要产品是互联网数据服务，不少世界500强公司和欧美名校都是他们的客户，其实就是数据采集（爬虫），但是做到了很牛的程度。能提供各种已有收集到的互联网数据集诸如ShoppeeGoogleTikTok等电商、社交媒体、搜索引擎结果。还有各种的基础设施服务，用来给有定制开发能力公司提供获取开放数据解决方案。
直播电商数据监控：带货信息实时抓取方案.pdf
04-27
无论是数据科学领域的数据分析与可视化，还是 Web 开发中的网站搭建，Python 都能游刃有余。无论你是编程小白，还是想进阶的老手，这篇博文都能让你收获满满，快一起踏上 Python 编程的奇妙之旅！
数据抓取解决方案数据抓取解决方案
05-26
根据提供的标题、描述、标签及部分内容，我们可以了解到这篇文章主要探讨的是“数据抓取解决方案”，并且提到了几种常用的技术手段，包括但不限于使用`HttpWebRequest`、`WebClient`等方法来获取网页内容。...
八爪鱼爬取数据的实例.rar
04-09
在信息技术领域，数据采集是至关重要的环节，而“八爪鱼”（Octopus）则是一款强大的网页数据抓取工具，它允许用户通过简单的界面设计来实现复杂的网络数据抓取任务。本实例将深入探讨如何使用八爪鱼进行数据爬取，...
基于Java的分布式数据抓取平台Cocook-Spider开源设计源码
10-05
作为一个分布式数据抓取平台，Cocook-Spider的目标是为用户们提供一个高效的数据抓取解决方案，无论数据采集的规模大小，都能够应对自如。对于那些需要大量数据采集的项目，如市场研究、新闻网站的数据抓取、社交...
【记录】Python调用大模型（以Deepseek和Qwen为例）
最新发布
weixin_44194088的博客
04-29 214
预备（以BERTopic聚合主题为例）
用Java模拟打字：深入解析 java.awt.Robot 的键盘控制艺术
码觉客的博客
04-28 1587
通过，我们可以实现强大的键盘自动化功能。对于简单的字符（英文字母、数字、基础标点等），可以通过模拟单个按键的按下和释放（可能需要配合 Shift 等修饰键）来实现，这需要建立字符到键码的映射并注意按键时序和延迟。对于复杂字符、中文或长文本，由于Robot不理解输入法逻辑，最可靠和常用的方法是将文本复制到系统剪贴板，然后模拟按下系统的粘贴快捷键。无论使用哪种方法，理解Robot的工作原理（模拟物理按键），处理好窗口焦点，并加入适当的延迟，是确保模拟输入成功的关键。虽然Robot。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2873
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
京东商品详情API数据爬取难度分析与解决方案
Asher18870278351的博客
04-28 802
京东商品数据爬取是一项技术要求高、维护成本大的工程，需要综合运用网络爬虫、密码学分析和分布式系统等多领域知识。成功的爬虫系统需要在技术实现、资源投入和合规边界之间找到平衡点。随着电商平台安全技术的不断升级，爬取方也需要持续迭代技术手段，同时更应关注数据获取的合法合规性。
基于亚马逊云科技搭建企业问答系统
正在自我救赎的菜鸟。本人所有内容均不收费，可随意转发，复制
04-27 1047
在当今信息密集的企业环境中，如何快速、安全地构建专属知识库成为提升效率的关键。本教程将手把手教你如何从零开始，借助 Amazon Bedrock 控制台与 DeepSeek 大语言模型，将企业内部文档转化为可交互的问答系统（RAG 架构）。无需任何编程经验，只需按照步骤操作，即可轻松完成搭建与体验。
JVM的内存管理、垃圾回收、类加载和参数调优
andrew_1219的博客
04-29 855
在面试中通常会考察JVM判断候选人的技术热情，对于Javaer还是比较重要的，整理一下JVM相关的知识点，包括JVM的内存管理、垃圾回收、类加载机制、JVM调优参数
实验3 函数与代码复用
2202_75500160的博客
04-25 251
目的：理解函数封装与递归思想。
python 3.14 暂不支持 pyside6 ？ python 窗体无法显示！
业余编程
04-27 382
十天前 python-3.14.0a7 可以安装 pyside6 ，今天（2025.4.27）忽然就不能安装了，诡异不？
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值