爬虫小计（charles抓取wss数据--yy数据爬取）

背景

1. 爬取一个直播平台的信息与一个普通网站的数据
2. 直播平台的信息有热门主播的在线人数，时常，与热门直播的礼物情况（粉丝的人物画像）

难点

1. 打赏礼物的人物画像
2. https
3. wss（数据的实时性），需要模拟匿名用户的访问，某直播网站的wss数据又是二进制数据
4. 头大的js代码，无限多，无限长

分析

1. 一般普通数据用java jsoup来解决
2. wss的数据需要先模拟匿名登录，拿到binary data。然后再来分析网站的js代码，进行解析。

找工具

1. chrome 开发者工具，f12 ws选择只能看到frames在走动与我们两个互不认识的binary。
2. wireshark，伤心本来报很大希望但是无法通过websocket方式来搜索出来，而且即时分析出来，我估计也不知道如何截取，这个后面再做研究如何使用，看到有人说直接搜websocket是可以看到的。但是通过websocket filter我真的找不到自己想要的数据。除非通过ip.addr ip.src 等等
3. charles，无意中发现的。真如其名，charles。虽然开始也用不好，但是最后还是搞定了，下面具体说说如何使用的吧。

charles工具

1. 先激活

// Charles Proxy License
// 适用于Charles任意版本的注册码，谁还会想要使用破解版呢。
// Charles 4.2目前是最新版，可用。
Registered Name: https://zhile.io
License Key: 48891cf209c6d32bf4