本文介绍了游戏数据清洗的过程，重点针对game_data和game_log_data进行分类。在清洗流程中，核心问题是如何处理二进制文件，如blob，转化为text存储到大数据仓库。此外，通过数据库+表名的hash操作实现数据分区，确保同一表的数据落在同一分区。文章还提及主线程代码中过滤二进制数据的环节。
数据分类
目前游戏中数据分为两类，一种是游戏数据，一种是游戏日志数据，即game_data和game_log_data。对于game_log数据主要做一些汇总分析，比如玩家参与某种玩法的参与度，以及一些行为的分析。对于游戏数据，主要就是玩家一些基础属性，比如战力，等级等等的存储，最重要的就是玩家的充值数据，这些会随着玩家的操作数据值会改变的，如玩家升级，充值由未完成到已完成。
清洗流程
核心问题以及解决
- 数据对于二进制文件
- 对于blob等二进制文件在存储到大数据仓库的时候，直接转换为text , 在目前来说这种数据，对于统计几乎没有统计意义。
- 同一个表要落到一个分区中
- 对数据库+表名做hash操作，然后%分区数，让同一个表数据落入同一分区。
主线程代码
订阅专栏 解锁全文
扫一扫
848
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
