对离线数仓的整个数据流程架构整理

该博客详细梳理了基于游戏数据分析业务的离线数仓架构,包括业务背景、技术选型(如CDH、Hadoop、Kafka、Hive、Flink等)、流程架构图,以及之前日志采集面临的问题,如存储格式、服务端和客户端架构,强调了日志服与游戏服的高耦合性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

对离线数仓的整个数据流程架构整理

业务背景

  1. 基于游戏的数据分析业务,对玩家的统计信息进行分渠道,分服务器的灵活即时查询。
  2. 并可以实时响应相关统计指标的明细查询,实现数据的钻取。

技术选型

  1. 整个大数据分析平台选用业内较为流行的CDH进行部署,相关组件的使用,根据业务需要,进行相应的添加。

预想时流程架构图在最开始时的预计架构图

当前流程架构图

当前流程架构图

游戏技术架构

  1. 服务端采用SpringBoot+Mybatis+Netty+Mysql+Redis进行架构,Mysql采用主备复制
  2. 客户端采用U3D+Netty
  3. 通讯协议采用ProtoBuf

之前日志采集面临的问题

之前的存储格式
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值