Flink学习笔记（四）：flink数据分流

最新推荐文章于 2024-10-25 14:17:53 发布
原创 最新推荐文章于 2024-10-25 14:17:53 发布 · 2.3k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink

本文详细介绍了使用Apache Flink进行数据分流的三种方法：Filter过滤、Split分流和Side Output分流，以及如何根据数据类型将流拆分为多个子流进行处理。

前面介绍了如何从kafka获取数据，那么当大量数据格式不一致的时候想对某一种类型进行处理该如何实现呢？

flink为我们提供了一套处理方式，分流处理

一、分流场景

原Stream流需要拆分为Stream1和Stream2流
Stream1需要再次拆分为StreamA，StreamB流
Stream2需要再次拆分为StreamC，StreamD流

最低0.47元/天 解锁文章
flink分流
JustinMars的博客
04-21 1681
分流
flink重温笔记（九）：Flink 高级 API 开发——flink 四大基石之WaterMark（Time为核心）
m0_60732994的博客
03-03 2551
当 flink 以 EventTime 模式处理流数据时，它会根据数据里的时间戳来处理基于时间的算子。但是由于网络、分布式等原因，会导致数据乱序的情况。 结论：只要使用 event time，就必须使用 watermark，在上游指定，比如：source、map算子后。Watermark 的核心本质可以理解成一个延迟触发机制。因为前面提到，数据时间 >= 窗口结束时间，触发计算，这里想要延迟触发计算，所以水印时间一般比数据事件时间少几秒水印时间 = 事件时间 - 设置的水印长度水印的功能：在不影响按照事件
FLINK 分流
王小工小工历程
10-25 1746
在Apache Flink中，分流（Stream Splitting）是指将一条数据流拆分成完全独立的两条或多条流的过程。这通常基于一定的筛选条件，将符合条件的数据拣选出来并放入对应的流中。
Flink-多流转换（合流，分流，双流join）
m0_46507516的博客
12-12 3711
Flink的合流、分流、以及双流join，广播流，测输出流各种流详解以及案例
Flink Flink中的分流
文文x的博客
11-24 1658
所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。
【Flink】Flink 的分流操作
iiiitttttt的博客
06-02 1999
所谓的分流就是将一条数据去拆分成多条数据流， 就是基于一个DataStream ， 来得到多个平等的DataStream 简单的代码实现 使用侧输出流
【大数据】Flink学习笔记
passnight的博客
03-26 1841
Flink学习笔记
学习笔记：Flink 读取和写入Kafka数据
瑞瑞ruirui的博客
08-31 3268
引入依赖： <!-- 阿里巴巴开发的 JSON 库 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version> </dependenc
Flink学习笔记（五）DataStream API
番茄炒蛋三分糖
05-25 760
文章目录前言5. DataStream API5.1 执行环境5.1.1 创建执行环境5.1.2 执行模式5.1.3 触发程序执行5.2 源算子（Source）5.2.1 准备工作5.2.2 从集合中读取数据5.2.3 从文件读取数据5.2.4 从Socket读取数据5.2.5 从Kafka读取数据5.2.6 自定义Source5.2.7 Flink支持的数据类型5.3 转换算子(Transformation)5.3.1 基本转换算子5.3.2 聚合算子（Aggregation）5.3.3 用户自定义函数（
Flink之多流转换(分流、合流)
四维大脑的博客
05-08 3080
无论是基本的简单转换和聚合，还是基于窗口的计算，我们都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分开，所以经常会有对多条流进行处理的场景。本章我们就来讨论 Flink 中对多条流进行转换的操作。 简单划分的话，多流转换可以分为“分流”和“合流”两大类。目前分流的操作一般是通过侧输出流（side output）来实现，而合流的算子比较丰富，根据不同的需求可以调用 union、connect、join 以及 coGroup 等接口进行连接
flink的分流操作，简单易懂，赶紧收藏！
m0_73541150的博客
12-30 1345
案例：kafka数据格式为json类型，json中的value有数组，也有json的，数组元素是json。现在提供这么一个场景，数据中的元素为同一类信息，将info 数组中的每个元素单独作为一个json串输出，同时将tags的值输出。而侧输出流的标记和提取，都离不开一个“输出标签”（OutputTag），它指定了侧输出流的id和类型。flink消费kafka，根据数据业务特点解耦写入不同的主题中，这常见场景就是日志数据，性能数据等要这样处理，后续再消费不同的主题进行实时分析.// 1.读kafka。
Flink中的分流合流操作
qq_42456324的博客
11-07 1589
（co-process）转换操作，用来说明对于不同来源、不同类型的数据，怎样分别进行处理转换、得到统一的输出类型。所以整体上来，两条流的连接就像是“一国两制”，两条流可以保持各自的数据类型、处理方式也可以不同，不过最终还是会统一到同一个 DataStream 中。
Flink 如何分流数据
不跟风的程序员
06-11 2044
场景 分流方式 如何分流 使用Filter分流 使用Split分流 使用Side Output分流 场景 获取流数据的时候,通常需要根据所需把流拆分出其他多个流,根据不同的流再去作相应的处理。 举个例子:创建一个商品实时流,商品有季节标签,需要对不同标签的商品做统计处理,这个时候就需要把商品数据流根据季节标签分流。 分流方式 使用Filter分流 使用Split分流 使用Side Output分流 如何分流 先模拟一个实时的数据流 import lombok.Data; @Data pub..
Flink---分流
shall潇の菜园
07-06 585
Flink中将一个流拆分成多个流的方法有两个：split(已过时)，process（推荐） 文章目录splitprocess split package Flink.transform; import Flink.beans.SensorReading; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction; impor.
flink如何正确分流
czl689的专栏
04-13 1249
flink如何正确分流 分流方式 filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用) 场景 flink-分流场景.png 输入数据： {"key":"001","type":"1","data":"data1"} {"key":"001","type":"11","data":"data11"} {"key...
Flink 三种数据流分流（推荐旁路分流）
长臂人猿的博客
02-02 4888
前言 ​ 近来，因为flink版本的漏洞：CVE—2020—17519#Apache，官方进行了1.12大版本更新，并说到：我们强烈建议所有用户升级到Flink 1.12.1。然后我就发现了Remove deprecated DataStream#split。文中介绍的split方法已经被舍弃（移除），官方推荐使用Side Outputs（旁路分流）。但是我还是保留了该部分代码，一方面是flink的演变的变化，另外一方面写也写了（删了多不好[< _<]）。 ​ 所以目前flink 1.12.1只
Flink多流转换（1）—— 分流&合流
WHY的博客
01-23 2447
本文介绍了flink多流转换中的分流和河流
【Flink】分流和合流
lxtx
11-14 384
所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。
flink中的分区、分组与分流
qq_39889944的博客
01-19 1538
介绍了flink中分区、分流和分组的概念，并配上了图片与代码。
尚硅谷数据4.0包装成公司项目，对公司电商项目介绍
最新发布
08-07
<think>首先，用户的问题是将尚硅谷大数据4.0课程内容转化为公司电商项目介绍。这可能是为了求职或内部汇报，需要包装成一个真实项目的经验。 从系统级指令看，我需要： - 所有行内数学表达式用$...$格式。 - 独立公式用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾添加引用标识，如[^1]。 - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 用户提供的引用： - [^1]: 关于数仓搭建-ODS层的资源链接。 - [^2]: 关于实时计算和DWS层的需求梳理。 - [^3]: 关于ADS层的描述。 - [^4]: 关于电商推荐系统的笔记。 这些引用是关于大数据仓库项目的，特别是尚硅谷的电商数仓V4.0课程。用户想包装成公司项目介绍。 我的回答应该结构清晰，逐步指导如何转化。可能包括： 1. 理解课程内容。 2. 重述为公司项目经验。 3. 添加实际细节以使其真实。 4. 突出关键技术和成果。 最后，生成相关问题。 大纲回答： 1. **引言**：解释转化的重要性。 2. **步骤1：梳理课程内容**：总结关键模块如ODS、DWS、ADS层。 3. **步骤2：重述为公司项目**：使用公司背景、角色、目标。 4. **步骤3：添加真实细节**：如具体数据、技术栈、成果。 5. **步骤4：展示示例项目介绍**。 6. **相关问题**：生成相关问题。 确保引用： - 在相关部分末尾添加引用标识。例如，提到ODS层时引用[^1]。 使用中文。 数学表达式：如果有数学内容，用LaTeX格式。但在这个主题中，可能没有太多数学，但如果有变量或方程，就用$...$。 例如，如果提到算法，如推荐系统中的ALS，可以用$ALS$表示。 生成相关问题：在回答结束时，添加"§§相关问题§§"部分。</think>### 如何将尚硅谷大数据4.0课程内容转化为公司电商项目介绍 您好！将尚硅谷大数据4.0课程内容包装成公司电商项目介绍，是一种常见的求职或汇报策略，能展示您的实战能力和项目经验。核心在于将学习内容转化为真实商业场景中的项目描述，强调您的角色、技术应用和业务价值。以下是逐步指导，基于尚硅谷课程的核心模块（如ODS、DWS、ADS层和推荐系统），我将帮助您构建一个可信、专业的项目介绍。整个过程需确保内容真实可靠，避免虚构事实，而是通过课程知识模拟实际项目细节。 #### 步骤1: 理解课程内容并梳理关键模块 首先，回顾尚硅谷大数据4.0课程的核心内容。课程主要覆盖电商数据仓库的搭建，包括数据采集、处理、分析和应用层。关键模块如下： - **ODS层（操作数据存储）**：负责原始数据的接入和初步清洗，例如从Kafka或日志系统分流数据到HDFS或Hive表。课程中强调使用分流技术（如Kafka Topic）处理高并发数据流[^1]。 - **DWS层（数据服务层）**：构建主题宽表，支持实时计算指标。课程指导如何基于业务需求（如用户行为分析）设计聚合表，避免“大而全”的冗余，以降低运维成本[^2]。 - **ADS层（应用数据服务）**：输出最终业务指标，如用户留存率或商品热销榜。课程使用维度建模，例如按天分区存储累积汇总数据，便于BI工具调用[^3]。 - **推荐系统模块**：基于协同过滤算法（如ALS）实现个性化推荐，包括评分预测和商品相似度计算（使用余弦相似度公式$ \cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{\|\mathbf{A}\| \|\mathbf{B}\|} $）[^4]。 这些模块构成一个完整的电商数据流水线。转化时，需将这些技术点融入公司项目背景中。 #### 步骤2: 重述为公司电商项目，添加真实细节 将课程内容转化为公司项目介绍时，需虚构一个合理的公司背景（如“某电商平台”），并突出您的角色和贡献。以下是关键要素： - **项目背景**：描述公司业务痛点，例如“公司面临用户行为数据分散、实时分析滞后问题，需构建数仓提升决策效率”。 - **您的角色**：作为数据工程师或分析师，主导或参与项目。例如，“作为核心开发成员，负责ODS层数据接入和DWS层指标设计”。 - **技术栈**：引用课程技术，但包装为公司实际工具。例如： - ODS层：使用Flink或Spark Streaming从Kafka分流数据，确保日处理量达TB级（参考课程分流技术[^1]）。 - DWS层：基于实时需求（如监控促销活动），设计宽表存储指标，如“用户当日点击率”，避免过度计算（参考需求梳理原则[^2]）。 - ADS层：输出业务报表，例如“通过Hive按天分区，生成用户留存分析报告，支持运营决策”（参考累积汇总模型[^3]）。 - 推荐系统：实现ALS算法优化，例如“训练评分矩阵预测用户偏好，计算商品相似度，提升推荐准确率至85%”（参考余弦相似度应用[^4]）。 - **成果与价值**：量化业务影响，例如“项目上线后，订单转化率提升15%，数据处理延迟降至秒级”。 #### 步骤3: 构建完整项目介绍示例 以下是一个结构化项目介绍模板，基于尚硅谷课程内容包装而成。您可根据实际求职或汇报场景调整细节： ```markdown **项目名称：电商智能数据平台建设** **公司背景**：某中型电商平台，日活用户超100万，需解决数据孤岛和实时分析瓶颈。 **项目目标**：搭建端到端数据仓库，支持实时监控和个性化推荐，提升用户体验和GMV。 **我的角色**：数据工程师，负责架构设计和核心模块开发。 **关键实施内容**： 1. **数据接入层（ODS）**： - 使用Kafka分流日志数据（日处理量10TB），通过Flink清洗后存储至HDFS。 - 解决高并发问题，确保数据一致性（参考课程分流技术[^1]）。 2. **实时指标层（DWS）**： - 基于业务需求（如促销活动监控），设计主题宽表，聚合关键指标（如用户点击率）。 - 优化计算资源，避免全量中间层，降低运维成本30%（参考需求驱动设计[^2]）。 3. **应用服务层（ADS）**： - 构建用户维度表，按天分区存储累积行为数据，输出日报表至BI工具。 - 实现用户留存分析，助力运营决策（参考分区存储模型[^3]）。 4. **智能推荐模块**： - 应用ALS算法训练评分矩阵，预测用户偏好（公式：$ \hat{r}_{ui} = \mathbf{p}_u \cdot \mathbf{q}_i $）。 - 计算商品余弦相似度（$ \cos(\theta) $），生成个性化推荐列表，提升转化率（参考协同过滤流程[^4]）。 **项目成果**： - 数据处理效率提升50%，实时查询延迟<1秒。 - 推荐系统上线后，用户复购率增长20%，GMV提升18%。 - 获得公司技术创新奖，并支持后续A/B测试优化。 ``` #### 注意事项 - **真实性保障**：在介绍中，使用模糊公司名称（如“某电商平台”），并强调“基于课程知识模拟实战”。避免直接复制课程代码，而是描述技术应用场景。 - **求职/汇报技巧**：在面试或报告中，准备具体案例。例如，解释“如何解决ODS层数据延迟问题”，并引用课程中的分流策略。 - **风险提示**：确保不泄露课程机密，仅使用公开内容。如果涉及证书，可提及“完成尚硅谷认证”，但项目介绍应独立。 通过以上步骤，您能有效转化学习内容为项目经验。核心是突出技术深度和业务影响，让听众感受到您的实战能力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值