- 博客(17)
- 收藏
- 关注
RSS订阅原创 x.com 登录 flow_token 获取和2fa的验证登录
最近帮朋友写一个推特的登录功能，普通账号购买比较便宜但是容易被封，有2fa认证的账号可以采集的数据更多，不容易被封禁。所以登录的流程更麻烦一些。于是找到了我。前面我写2fa认证就是为了这个做准备。再找也写过x的抓取，但是没有自动登录相关的内容，这里就是入和吧上面的代码整合到一起。
2025-02-14 15:34:27
767
原创 百度、搜狗、360和必应爬虫对比
百度、搜狗、360和必应都通过网站内容质量、更新频率、用户反馈等因素评估网站权重。：百度和搜狗的抓取频率较高，360的抓取频率相对较低。：所有搜索引擎都更倾向于抓取结构良好、层级较浅的网站。
2025-01-23 17:30:52
1305
原创 2fa(双因素身份验证) 是什么？应用场景和算法原理及实现
帮朋友眼镜下twitter的自动登陆，只用账号密码登陆比较容易但是账号被封的概率比较高。那么就需要寻找账号安全性更高的账号，那么就是多重认证登陆。账号多还需要境外的手机号，所以优选选择采购了。买的账号短信验证就不太可能，现在比较流行的就是2fa认证，这种账号确实相对好用，验证码是调用第三发网站实现的，不是很方便，就自己研究了一下应用场景和实现。
2025-01-22 10:41:16
1859
原创 vietjetair 航空的webpack多参数生成学习
工作内不是特别多，居安思危，有一个抓机票信息的公司面试前竟然需要做面试题，这就是一个题。看了下，有点麻烦，webpack 最初不得要领，看了下资料，找了个框架，练了两个简单的，搞这个吧。入库需要自己找，有几个参数不是明文的，算法不是很复杂，位置不太好找。整体难度一般。
2024-09-20 14:57:56
1094
4
原创 jdz 政府网站webpack逆向和部分还原
有一个之前同事他们要一些政府网站的信息，做模型，结果有一个地区的网站要么加载慢，要么出问题就问了下。正好我最近研究webpack，其中一个就是webpack的。其实之前已经看了两周webpack相关的内容了。实在是不得要领，最基础的就是找到调用的地方，一行行补，一个方法一个方法的口，但是看到一个帖子好像webpack有通用的方式，于是研究了起来。可以别人的案例看着容易，自己不事件，始终用不起来。基础理论可以看上面的帖子。
2024-09-12 16:56:50
2835
原创 lsposed 安装 webviewdebughook 对app和小程序的调试
前几天一个之前同事抓招投标数据，说中国招投标服务的app接口变了，让我帮忙抓一下。结果发现雷电模拟器不行，不加载数据。安卓14的手机安装抓包的证书 之前没搞定，这次下载下来后在wifi 下有一个安装证书，安装成功，于是抓包，抓到了地址，可以数据还是加密的，和之前同事说说加密很简单只是一个 des加密。但是我不知道具体怎么解密的。于是研究了好几天。总算找到结果了。
2024-08-13 11:06:38
3065
2
原创 某查登录cdpassword 参数生成
想要抓取企业数据，第一个地方工商局，其次，天眼查，企查查，爱企查之类的。工商局的还没看，个查可以先看看。天眼查，一般有一页不需要登录的，这种事可以刷ip的。有些数据是必须登录才能获取的，先研究下登录代码。
2024-08-05 14:25:48
202
原创 券商网页登录的password 参数的rsa
闲着就要学习，没啥干的看看券商的防护如何，之前看过网上有关于券商数据，我这看下东方财富的登录，发现还是比较简单的。
2024-08-03 20:55:01
253
原创 encParams参数的sm4 算法加密
因为是邮箱只是学习，每一步的请求中还有几个其他的，有在一个字符串随机一个固定长度字符，还有其他类似环境生成的。邮箱都有现成收邮件的接口，所以这个东西看看就好。
2024-08-02 10:00:51
1107
原创 某数据网站search_company_for_lib接口payload和sig值的生成
七八年前抓过一些企业相关的数据，那个时候经济好，风投多，各种风投公司钱多找个中心新公司投资，程序员和爬虫的公司也飞速上涨，比起现在经济真的好怀念啊。返回数据大概率 还是des,L开头大概率是，之前做的一个网站全是L开头的数据，json第一个大罗括号 加密大概应该是L.。请求参数有两个，一个长的一个短的，长的估计可以还原的就是des或者aes之类的。这个代码有点复杂，还原成python的逻辑没成功，但是，基本已经可以完成数据的请求和还原了。从上面可以看出 ，l是原始参数，F是l加密后的，p是f等的。
2024-08-01 10:22:17
4787
原创 mou克，正文的解密 initialState
昨天试着自动登录，登录顺便点了下正文，发现正文没找到，标题有估计为了推广做的伪静态。仔细观察源代码，发现下面有一块区域在script标签是一次字符串，看起来像是密文，试了下base64不是，估计aes啥的，但是怎么调试呢。initialState 去查找，发现一共就找到3个，这个容易了。2.把html保存下载，本地用浏览器加载，发现一个 字不展示，还会去加载接js文件。4.在页面加载请求事件中大了断点，断点是断了，但是追了 好久没找到有用的东西。这么一看上面的应该是 秘钥，aes算法，追踪往下走下看看。
2024-07-31 10:07:28
1427
原创 某克登录加密参数，mobileNo和password
断点断住后，在控制台输出能看到 明文和密文，明文就是在文本框中输入的内容。新浪网站的看了（ras还是只有密码），艾瑞咨询也看了，竟然是明文。最近工作没啥事，QQ群里好多收协议的，结果搞不清楚什么难，什么简单。通过详细追踪，可以看到设置setPublicKey的字符，这一般情况下就是ras的公钥。还得英文学的好，从英文单词判断是用户名和密码，上面还多一个国家code。运行上面，账号密码正确的情况下如下，需要修改下时间戳的。查看密码部分加密也一样，同样的代码同样的逻辑。上面是ras的代码，错误的登录返回。
2024-07-30 14:21:41
490
原创 x的authorization获取 登录和请求接口的限制
将其放入头文件中就可以获取到登录后的数据了，python用requests 是无法请求成功，应为Twitter接口启用http2.0，python可以用httpx启动http2。最近碰到返回的数据无法格式化成json的情况发现是因为返回的数据是压缩的代码需要修改请求头中的压缩方式。几年前的项目专区推特还是很容易的，去年五月份马斯克收购x之后，就需要登录，接口访问也强制称为了http2.0的协议了，最近在返回数据压缩那块也做了处理。抓紧记录自己的，怕忘记之前怎么搞得了。微信号：liu_yue_yang。
2024-07-29 15:59:11
821
2
原创 web3项目网站 sc_item_list_page列表sign、content参数，data数据还原
如下第一个是公钥加密，下面是私钥加密，sha1算法，熟悉常用加密算法能猜到这是rsa,下面有秘钥定义和秘钥内容，这个在页面第一次初始化时候生成。在之前公司抓取过一段时间web3相关数据，昨天研究记录下，结果今天就增加登录，跑下程序发下还好，网站逻辑和参数没有变化，抓紧记录下，要不改完，思路全网了。每次点击翻页能看到如下的数据，sign、content参数不知道是啥。t的明文应该是url参数，通过他的加密生成相应的加密参数。从控制台执行结果看，应该是一个参数，具体是哪个，可以后面如何赋值。
2024-07-25 13:31:28
354
原创 旅行数据 _sn 的逆向生成逻辑
最近公司需要旅行数据的抓取，研究了半天，发现首页很容易，没有任何限制，那就写程序吧，详情页发现不行解析不出来，抓取下发现是加速乐，真是麻烦，查了些资料，发现页面每个模块都是一个接口，接口有个_sn知不知道哪来的，看着不长，不是base64,搞不清楚啊。慢慢追吧（查到一个朋友些的方法，但是不是一个接口，搞不清楚代码的参数顺序，所以发现不通用）。慢慢研究，慢慢追能看到 加密前的字符串。追到最后能看到加密后的字符串，但是长度不够，后面获取一个 2，多少。最核心的就是断点的位置，进入正确的断电能看到一个大的数组。
2024-07-24 14:17:19
465
原创 音频下载连接的获取方式记录
看到url的链接了，但是不确定加密方式，怀疑是base64，用base64 可以还原，但是是乱码，看不懂。公司抓取音频数据，在archive弄了1300多万音频，搞了400t的数据，但是多数都是英文的，中文的数据太少，所以想研究下国内的音频网站好弄不。点击播放后能看到请求，上面的加载有url和视频相关的字段，但是就是找不到下面个m4a，的视频下载地址。看到的内容有乱码，由替换字符，有base64，最终获取到下载连接，我还是被自己坑了一天，用数据不对，一直执行不对。微信号：liu_yue_yang。
2024-07-19 14:08:47
389
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人