某鱼数据抓取或监控（方案二）

原创 已于 2022-10-26 19:35:52 修改 · 599 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2022-10-26 14:49:07 首次发布
博客介绍使用Frida hook函数进行rpc调用，可得到x-sign、wua、sgext、umt等参数。包含两部分代码，server端用于生成参数，main端构造请求获取数据，还有相关视频演示。

Frida hook函数rpc调用得到x-sign,wua,sgext,umt

效果图：

两部分代码：

server端：生成x-sign等参数

b13c5cab422a428589f98b4541010469.png

main端：构造请求获取数据

45042de93b07451c84e8b945b3a66796.png

视频演示

1666766025156

dingyape
关注
23年最新某鱼APP 抓包分析成果
代码慈善家的博客
04-13 2581
某鱼app首先正常抓包是抓不到它的数据包的，因为使用了SPDY协议。因此需要用frida来实现禁用此协议才可以正常获取到数据包。运行frida代码之后我们再用fd进行抓包就可以获取到数据包了。我们就可以实现搜索。
某鱼x-sign，x-sgext，x-mini-wua
qq_68475837的博客
06-04 1232
技术交流，希望有大神能指点指点在网上查了很多发没有一篇文章是模拟参数的不是卖接口的就是挂rpc的有文章说是在so文件里但是我技术不行根本找不到他用的那个so文件加载根本没找到地方调用。
某鱼数据采集或监控（方案一）
dingyape的博客
06-05 4428
所用的技术： Frida(hook app可以抓包)。 Mitmdump(抓包软件，可以和python进行交互) Bat(自动化操作app,当然也可以使用按键精灵之类的软件) 开发环境： Windows10 安卓手机（安卓7.0以下不用管系统证书安装的问题，视频中演示的手机小米4真机。也可以使用雷电模拟器，别的模拟器不推荐，雷电模拟器4.0以上为安卓7版本，需要解决系统证书的问题） ...
闲鱼app关键词抓包案例，配合frida成功抓包
2301_76220439的博客
01-10 6355
此时无论怎么刷新，fildder都是无法抓到包的，没有任何反应，因为默认闲鱼走的不是http请求，所以需要用frida让闲鱼走http请求。用cmd，ipconfig获取到fiddler代理ip，再填入模拟器，关于fiddler的基础使用过程这里不过多阐述。hook思路很重要，用jadx反编译下apk查看源码，很容易可以看到要hook的包名类名。注意：此步骤需要提前安装好证书，如果是安卓6.0以上请把证书安装到系统证书目录。如果在cmd窗口里的包列表里看到闲鱼就代表启动成功了。
某鱼APP x-sign x-mini-wua x-sgext 分析成果
PANGHU1103的博客
10-05 2万+
def get_sign(Pm): #这里是加密需要的字段 arg0 = Pm['appKey'] arg1 = Pm['utdid'] + "&" arg1 = arg1 + Pm['uid']+ "&" arg1 = arg1 + Pm['reqbiz-ext']+ "&" arg1 = arg1 + Pm['appKey']+ "&" arg1 = arg1 + Pm['datamd5']+ "&" .
小白上手代理网络，搭建自己的数据抓取工具
热门推荐
官方推荐
12-12 16万+
IPIDEA是业界领先的企业级代理网络服务平台，专注为全球开发者和企业用户提供高质量、高稳定性的代理IP解决方案。
智能爬虫管理：定制化数据抓取方案为企业赋能
zhou6343178的博客
07-24 1067
在数据驱动的时代，精准而高效的数据抓取成为企业决策的命脉。本文将探讨如何通过定制化的智能爬虫管理方案，赋能企业实现数据洞察力的飞跃。我们将深入解析定制化数据抓取的核心优势，分享成功案例，并揭秘如何利用这一技术优化业务流程，同时引入一款推荐工具增强数据采集体验。
直播电商数据监控：带货信息实时抓取方案.pdf
04-27
无论是数据科学领域的数据分析与可视化，还是 Web 开发中的网站搭建，Python 都能游刃有余。无论你是编程小白，还是想进阶的老手，这篇博文都能让你收获满满，快一起踏上 Python 编程的奇妙之旅！
微信公众号数据抓取系统：自动化采集文章信息与互动数据的实现方案
09-19
该技术常被集成于搜索引擎、数据采集系统及监控平台等场景中。 爬虫的操作流程通常包含以下几个核心环节： 首先，系统从一个或多个起始链接出发，通过分析页面内容或借助其他资源，逐步扩展可访问的链接集合，...
数据抓取解决方案数据抓取解决方案
05-26
根据提供的标题、描述、标签及部分内容，我们可以了解到这篇文章主要探讨的是“数据抓取解决方案”，并且提到了几种常用的技术手段，包括但不限于使用`HttpWebRequest`、`WebClient`等方法来获取网页内容。...
精选资源
八爪鱼爬取数据的实例.rar
04-09
在信息技术领域，数据采集是至关重要的环节，而“八爪鱼”（Octopus）则是一款强大的网页数据抓取工具，它允许用户通过简单的界面设计来实现复杂的网络数据抓取任务。本实例将深入探讨如何使用八爪鱼进行数据爬取，...
[Python实战] 解决Outlook同步中的字符编码问题：表情符号也能正确处理了！
每日出拳老爷子的博客
12-16 161
摘要：本文分享了在使用Python同步Outlook会议信息时遇到的GBK编码问题解决方案。当处理包含表情符号（如📧）的会议内容时，Flask返回JSON会报"'gbk' codec can't encode"错误。作者通过封装ensure_utf8函数对文本进行UTF-8编码处理，同时建议设置Flask响应头编码为UTF-8和调整控制台输出编码，有效解决了特殊字符导致的编码异常问题。文章提供了从问题分析到完整解决方案的实践过程，适用于处理Python中的Unicode编码问题。
《Python实战小课：爬虫工具场景——开启数据抓取之旅》导读
2501_93253814的博客
12-15 1507
本文介绍了Python爬虫技术在三大场景中的应用：行业资讯爬取、学术文献摘要获取和电商评价收集。针对行业资讯，详细解析了从网页请求到数据存储的全流程；在学术文献方面，重点阐述了如何构建搜索请求和提取关键信息；对于电商评价，则说明了数据定位和清洗方法。文章还探讨了爬虫优化策略及反爬机制应对方案，为数据获取工作提供了实用指南。通过系统学习这些技术，读者可以提升数据采集能力，为商业决策、学术研究和市场分析提供有力支持。
Windows11系统安装Isaac Sim和Isaac Lab记录
weixin_65198494的博客
12-13 449
本文介绍了在Windows 11系统上安装IsaacSim和IsaacLab的完整流程。硬件配置为RTX4060显卡、32GB内存，软件环境包括NVIDIA驱动591.44、CUDA12.8、PyTorch2.7.0和Python3.11。安装IsaacSim5.1的主要步骤包括：更新GPU驱动、安装CUDA、创建conda虚拟环境、开启长路径支持、更新pip后安装IsaacSim pip包。IsaacLab安装则需要克隆GitHub仓库，通过安装脚本完成。最后通过运行验证脚本确认安装成功。
《Python 数据序列化与反序列化全景解析：从基础到最佳实践》
windowshht的博客
12-17 778
本文全面解析Python数据序列化与反序列化技术，涵盖JSON、Pickle、CSV、YAML等常见格式，并深入探讨自定义序列化、异步处理、分布式系统应用等高级主题。通过实战案例展示Web API交互、机器学习模型保存、自动化配置管理等场景的最佳实践，同时展望Protocol Buffers等前沿技术。文章既适合初学者掌握基础，也为资深开发者提供性能优化与安全合规的进阶指导，是Python数据处理领域的实用指南。
Python LangChain 开发问题：ImportError: Unable to import langchain_anthropic.
weixin_52173250的博客
12-12 202
Python LangChain 开发问题：ImportError: Unable to import langchain_anthropic.
Ubuntu 24.04 安装common-extensions
最新发布
sinat_15561283的博客
12-17 184
👉 这就解释了为什么 apt 一直“找不到”这不是你配置错，也不是你操作错，是。只要能看到帮助信息，就说明。✅ colcon 被。在 24.04 上，
Pandas库入门
注释写满人生
12-14 770
摘要：本文介绍了Python中Pandas库的核心数据类型Series和DataFrame。Series是一维带标签数组，可通过列表、字典、ndarray等多种方式创建，支持类似ndarray和字典的操作方法。DataFrame是二维表格型数据结构，可由二维ndarray、字典等多种形式创建，具有行列索引功能。文章详细展示了两种类型的创建方法、基本操作和属性，包括索引访问、运算对齐、name属性设置等，并通过代码示例演示了实际应用场景。Pandas的这些数据结构为数据分析和处理提供了高效灵活的工具。
旋转矩阵与欧拉角转换数学公式与代码详解
Tipriest的博客
12-15 885
本文介绍了欧拉角与四元数之间的转换方法，重点针对Z-Y-X顺序（yaw-pitch-roll）的航空/机器人学常用约定。首先通过数学推导给出了欧拉角转四元数的公式，并详细说明了四元数转欧拉角的计算过程，特别处理了万向节锁情况下的数值稳定性问题。随后提供了C++和Python的实现代码示例，确保不依赖第三方库即可使用。所有转换均采用右手坐标系，输入输出单位为弧度，适用于需要精确姿态表示的应用场景。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值