数据获取及分析

博主分享了在面对抖音反爬机制时的挑战和解决方案,通过使用低版本的抖音应用和抓包工具成功获取用户数据。主要关注用户作品、粉丝、个人信息等非隐私数据,用于假粉检测、粉丝重复计算和视频预计播放量等研究。数据获取涉及加密字段的处理和二次请求,解析返回的JSON数据进行进一步分析。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在做一些抖音相关的工作,主要是学习上的,老师要求的,做一些数据分析,但是抖音的爬虫是太难了,反编译之后一层层的加密,忙活了好几个月,再加上各方求助,总算可以获取到其数据进行分析了。

数据获取及分析

抖音的安卓和苹果是两套不同的系统,随着抖音的升级,甚至抓包都成了一件困难的事情,之前用模拟器刷机之后用Xposed+Just Trust Me模块可以解决SSL Pining的问题,但是现在似乎也不行了,但是办法总是有的嘛!用低版本的抖音就可以了。解决了抓包,就可以解决初步的问题了。

首先,我想获得一些用户作品啊、粉丝啊、个人信息等信息(不包括隐私数据)来做一些有意思的研究,比如假粉的判别,粉丝数的判重,如何计算用户视频的预计播放量等等等等。但是前提要有数据,但是实际上抖音对大多数字段都不怎么校验,只要你的url和请求体(post请求)然后会给你返回一个X- gorgan的加密字段和时间戳,然后将这个加密字段加入headers,再次发送请求就可以得到你想要的数据了。 在这里插入图片描述 返回的都是json,得到之后很好解析,也便于进行数据分析。我便将这些数据入库。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值