dy,ks研究某短视频的数据采集

 1.写在前面

2.加密分析

3.算法还原

【💼作者介绍】：目前正在从事爬虫。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作！有感兴趣的朋友可以相互学习交流。

最近研究某短视频的数据采集，发现在了其中有参数加密(sig,__NStokensig,__NS_sig3)

⚠️前言⚠️

本文仅用于学术交流。

学习探讨逆向知识，欢迎私信共享学习心得。

如有侵权，联系博主删除。

请勿商用，否则后果自负。

接口网址

https://apijs.ksapisrv.com/rest/n/search/new?earphoneMode=1&mod=HUAWEI%28PE-TL10%29&appver=11.2.40.30222&isp=&language=zh-cn&ud=0&did_tag=0&egid=DFPB87C66156D77E30A5502A6390A2930485545AF2230A10059912B95CD90742&thermal=10000&net=WIFI&kcv=1507&app=0&kpf=ANDROID_PHONE&bottom_navigation=false&ver=11.2&oDid=ANDROID_e3f7ad375496ce02&android_os=0&boardPlatform=bengal&kpn=KUAISHOU&newOc=ALI_CPD%2C666&androidApiLevel=30&slh=0&country_code=cn&nbh=44&hotfix_ver=&did_gt=1717558253520&keyconfig_state=2&cdid_tag=7&sys=ANDROID_11&max_memory=256&cold_launch_time_ms=1717558253520&oc=ALI_CPD%2C666&sh=2340&deviceBit=0&browseType=4&ddpi=2400&socName=Unknown&is_background=0&c=ALI_CPD%2C666&sw=1080&ftt=&abi=arm32&userRecoBit=0&device_abi=arm64&totalMemory=7737&grant_browse_type=AUTHORIZED&iuid=&rdid=ANDROID_e3f7ad375496ce02&sbh=78&darkMode=false&did=ANDROID_e3f7ad375496ce02&sig=93680fb875f441f1fb46329ecd833a2b&__NS_sig3=d6c7b794f1cb91309e9e9d9c8abc6d0b6a5ddae2828f8197

sig参数

我们可以发现sig参数是通过url里面的一些内容通过获取key,value的形式得到，然后再进行MD5加密得到的结果

__NStokensig参数

分析发现是通过得到sig参数后，还有一个加盐值(salt)，通过sha256加密后就可以得到这个加密结果

__NS_sig3参数

可能就比较复杂，后面通过长时间的研究，终于搞定，发现是通过hmac_sha256，aes等算法，直接上图展示

最后不需要登录也可以返回数据，所以采集的时候也不需要__NStokensig参数也可以正常返回数据