keyuquan的博客

场景： 在做大数据分析，报表项目的时候，一般会有实时和理想分析两种场景，一般情况下，是实时一套代码，离线一套代码，代码开发量比较大，怎么做到实时和离线公用一份代码 兼容实时场景的时效性我们这里以统计 每天每个游戏的登录用户数 为例，登录明细表和最终结果表如下CREATE TABLE `dwd_user_login` ( `login_time` datetime NULL COMMENT "登陆时间", `game_id` bigint(20) NULL COMMENT "游戏..

一.三种方案 方案1.spark streaming 做实时数据分析，hive 做数据仓库 ，spark sql 做离线数据分析 方案2. spark streaming 做数据同步，es做数据仓库，spark sql 做离线数据分析方案3：spark streaming 做数据同步，doris 做实时数据分析，spark sql 做离线数据分析二. 方案优缺点对比 方案一 方案二 方案三 时效性 分钟级别 小...

一.需求1.需求描述统计每天，每个网点的快递单数（有修改，揽收状态，签收状态，是否退件等）表： waybill字段: 时间 ：input_time，网点 network ,订单唯一ID : waybillId2. 需求sql翻译select date(input_time) day,network,count(distinct waybillId)waybillCo...

目录数据流程图和关系数据流程图​数据流程关系 需求描述框架和版本方案一说明问题方案二说明数据同步问题es 查询问题方案三说明es 查询问题方案四（选择方案）说明es 查询问题 数据流程图和关系 数据流程图 数据流程关系 一对一： 收 ，收件入库，派，问题件，留...