数据获取及分析

最近在做一些抖音相关的工作，主要是学习上的，老师要求的，做一些数据分析，但是抖音的爬虫是太难了，反编译之后一层层的加密，忙活了好几个月，再加上各方求助，总算可以获取到其数据进行分析了。

数据获取及分析

抖音的安卓和苹果是两套不同的系统，随着抖音的升级，甚至抓包都成了一件困难的事情，之前用模拟器刷机之后用Xposed+Just Trust Me模块可以解决SSL Pining的问题，但是现在似乎也不行了，但是办法总是有的嘛！用低版本的抖音就可以了。解决了抓包，就可以解决初步的问题了。

首先，我想获得一些用户作品啊、粉丝啊、个人信息等信息（不包括隐私数据）来做一些有意思的研究，比如假粉的判别，粉丝数的判重，如何计算用户视频的预计播放量等等等等。但是前提要有数据，但是实际上抖音对大多数字段都不怎么校验，只要你的url和请求体（post请求）然后会给你返回一个X- gorgan的加密字段和时间戳，然后将这个加密字段加入headers，再次发送请求就可以得到你想要的数据了。 返回的都是json，得到之后很好解析，也便于进行数据分析。我便将这些数据入库。