keyuquan的博客

场景： 在做大数据分析，报表项目的时候，一般会有实时和理想分析两种场景，一般情况下，是实时一套代码，离线一套代码，代码开发量比较大，怎么做到 实时和离线公用一份代码 兼容实时场景的时效性 我们这里以统计 每天每个游戏的登录用户数 为例，登录明细表和最终结果表如下 CREATE TABLE `dwd_user_login` ( `login_time` datetime NULL COMMENT "登陆时间", `game_id` bigint(20) NULL COMMENT "游戏..

一.三种方案 方案1.spark streaming 做实时数据分析，hive 做数据仓库 ，spark sql 做离线数据分析 方案2. spark streaming 做数据同步，es做数据仓库，spark sql 做离线数据分析 方案3：spark streaming 做数据同步，doris 做实时数据分析，spark sql 做离线数据分析 二. 方案优缺点对比 方案一 方案二 方案三 时效性 分钟级别 小...

一.需求 1.需求描述 统计每天，每个网点的快递单数（有修改，揽收状态，签收状态，是否退件等） 表： waybill 字段: 时间 ：input_time，网点 network ,订单唯一ID : waybillId 2. 需求sql翻译 select date(input_time) day,network,count(distinct waybillId)waybillCo...

目录 数据流程图和关系 数据流程图 ​ 数据流程关系 需求描述 框架和版本 方案一 说明 问题 方案二 说明 数据同步问题 es 查询问题 方案三 说明 es 查询问题 方案四（选择方案） 说明 es 查询问题 数据流程图和关系 数据流程图 数据流程关系 一对一： 收 ，收件入库，派，问题件，留...