flink实时数仓(二)之dwd层

最新推荐文章于 2024-07-31 18:21:41 发布
原创 最新推荐文章于 2024-07-31 18:21:41 发布 · 986 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文介绍了一种基于Kafka的大数据处理流程，包括从原始数据读取到最终主题宽表的生成。涵盖ODS、DWD、DWM等层级的数据处理方法及使用的工具如Flink、ClickHouse。

我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。在这里插入图片描述

每层的职能
分层数据描述生成计算工具存储媒介
ODS原始数据，日志和业务数据 日志服务器，maxwellkafka
DWD根据数据对象为单位进行分流，比如订单、页面访问等等。FLINKkafka
DWM对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。FLINK
DIM维度数据FLINKHBase
DWS根据某个维度主题将多个事实数据轻度聚合，形成主题宽表。FLINKClickhouse
ADS把Clickhouse中的数据根据可视化需要进行筛选聚合。Clickhouse SQL可视化展示
利用侧输出流实现数据拆分
将不同流的数据推送下游的kafka的不同Topic中
Flink电商实时数仓项目02-DWD层
qq_43523503的博客
03-06 585
1 需求分析及实现思路 1.1 分层需求分析 1.1.1 实时数仓为什么要分层？ 建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。 比如直接从dwd、dim、dwm、dws取数据。 1.2 每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS 原始数据，日志和业务数据 日志服务器，maxwell kafka DWD 根据数据对象为单位进行分流，比如订单、页面访问等等。 FLINK kafka D
Flink电商实时数仓项目04-DWS层
qq_43523503的博客
03-06 743
1 DWS层和DWM层的设计 1.1 DWS层 前面的总结 DWS层的定位是什么呢？ 轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力非常大。 将更多的实时数据以主题的形式组合起来便于管理，同时也能减少维度查询的次数。 ODS层: -- 日志数据： nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log) -- 业务数据： Maxwell监控MySQL(binlog) 将数据采集到Kafka(ods_b
【实时数仓】DWD层需求分析及实现思路、idea环境搭建、实现DWD层处理用户行为日志的功能
weixin_43923463的博客
12-12 1414
建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。前端埋点中的数据全部放在kafka中ods_base_log主题中，如启动日志，页面访问日志，曝光日志等。虽然同是日志，但是却分为不同的种类，将来做数据统计时，全部从这一个主题中获取数据不方便。所以需要从ods_base_log主题中将数据取出来，根据日志的类型，将不同类型的数据放到不同
Flink 实时数仓（三）【DWD 层搭建（一）】
最新发布
功不唐捐，玉汝于成
07-31 1391
Flink DWD 层搭建，日志数据分流写入到各自的主题
Flink实时数仓项目—DWD层设计与实现
yunweijie_cn的博客
04-19 1812
Flink实时数仓项目—DWD层设计与实现前言一、功能四：支付宽表1.需求描述2.实现思路2.1 思路一2.2 思路二2.3 思路选择3.代码实现3.1 创建支付实体类3.2 创建支付宽表实体类3.3 主程序 前言 前面完成了三个功能，最后一个功能是支付宽表，与订单宽表有类似的地方。 一、功能四：支付宽表 1.需求描述 业务数据库中的支付表的粒度是一整条订单，但是这里的需求中有计算某商品的支付情况，因此需要将支付表和订单宽表进行关联，方便后续对某商品的支付情况的统计。 2.实现思路 2.1 思路一 因为
02Flink实时数仓（尚硅谷）- DWD层数据准备
qq_24095055的博客
07-22 1533
实时数仓
Flink 实时数仓（一）【实时数仓&离线数仓对比】
功不唐捐，玉汝于成
04-24 6168
实时数仓和离线数仓的对比
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
m0_47139992的博客
12-18 1974
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
Flink实时数仓项目—ODS层业务数据到DWD层
yunweijie_cn的博客
04-13 2407
Flink实时数仓项目—ODS层业务数据到DWD层前言一、ODS层业务数据处理1.ETL过滤空值数据2.实现动态分流功能二、功能实现1.ETL空值过滤2.维度数据存储的选择3.动态分流再分析2.1 思路一（Pass）2.2 思路二4.思路二实现4.1 配置表字段的确定4.2 TableProcess实体类的创建4.3 Flink-CDC处理配置表4.4 处理主流数据和广播数据 前言 前面已经将日志数据和业务数据采集到了Kafka中，Kafka中的ods_xx主题就作为了实时数仓的ODS层。同时，已经完成了
Flink实时数仓项目—ODS层日志数据到DWD层
yunweijie_cn的博客
04-12 1529
Flink实时数仓项目—ODS层日志数据到DWD层前言一、日志数据需要做的处理1.识别新老用户2.日志数据的处理3.发送数据到Kafka二、功能实现1.读取Kafka数据并转换数据格式2.识别新老用户3.日志数据分流4.分流后的数据写入Kafka对应主题 前言 前面已经将日志数据和业务数据采集到了Kafka中，Kafka中的ods_xx主题就作为了实时数仓的ODS层。 行为日志分为三类，页面日志、启动日志和曝光日志，这三类日志的格式不一样，我们需要分别进行处理，然后将处理完的数据再写入到Kafka中，作为
基于Flink实时数仓——用户行为日志DWD层（1）
qq_46045632的博客
01-15 452
用户行为日志DWD层实现目标： 识别新老用户，虽然客户端有新老用户的标识，但是不准确，需要用实时计算再次确认 利用侧输出流实现数据拆分，根据日志数据内容,将日志数据分为3类, 页面日志、启动日志和曝光日志。页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光日志侧输出流 将不同流的数据推送下游的 Kafka 的不同 Topic 中 代码实现： import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; i
Flink侧输入流应用 kafka --＞ ODS--＞DWD
wudonglianga的专栏
11-28 1724
1.Flink侧输入流–> ODS–>DWD 场景：Flink 接收kakfa 信息 通过 侧输入流--> ODS-->DWD 代码： 主类： package com.wudl.flink.app.dwd; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; import com.wudl.flink.uti
实时数仓架构图
November_28的博客
08-02 2549
图片来自 http://www.360doc.com/content/19/0129/22/58006001_812054510.shtml
Flink中将数据写入到文件和kafka(scala版)
weixin_48678923的博客
08-05 1003
1.将数输出到文件 package com.gqy.test import org.apache.flink.api.common.serialization.SimpleStringEncoder import org.apache.flink.core.fs.Path import org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink import org.apache.flink.streaming.
Flink实时仓库-DWD层(left-join后写入kafka)模板代码
S1124654的博客
07-28 572
Flink实时仓库-DWD层(left-join后写入kafka)模板代码
Flink实时数仓_DWD层数据准备
.
08-07 2203
第1章 需求分析及实现思路 1.1 分层需求分析 在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。 我们这里从 kafka 的 ods 层读取用户行为日志以及业务数据，并进行简单处理，写回到 kafka 作为 dwd 层。 1.2 每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS 原始数据，日志和业务数据 日志服务器 maxw...
大数据技术Flink电商实时数仓DWD数据层准备--第1章 需求分析及实现思路
jsp_will的博客
06-17 588
1.1分层需求分析 建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回kafka作为dwd层。 ...
实时数仓DWS层的定位
weixin_42796403的博客
03-23 644
实时数仓DWS层的定位 轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力是非常大的。 将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数。 1. DWS层:访客主题宽表 设计一张DWS层的表其实就两件事：维度和度量(事实数据) 度量包括PV、UV、跳出次数、连续访问页面数、连续访问时长 维度包括在分析中比较重要的几个字段：渠道、地区、版本、新老用户进行聚合 需求分析与思路 接收各个明细数据，变为数据流 把数据流合并在一起，成为一个相同格式对象的数据流
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值