flink常用转换算子总结

已于 2022-09-11 17:41:57 修改
阅读量3.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： flink 入门到精通 文章标签： flink 大数据 big data
于 2022-01-11 22:04:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/122442378
本文介绍了Flink中常见的转换算子，包括Map用于数据转换，FlatMap用于数据扁平化处理，以及Filter用于数据过滤。通过示例展示了如何在读取文本文件后，运用这些算子进行数据处理，如计算行长度、按逗号分割并打印、以及筛选特定开头的行。

前言

在JDK8之后，经常可以见到lamda表达式的写法，通过各种lamda表达式可以简化代码的编写，让代码看起来更加简洁，比如大家熟知的 filter ， map 等方法，前者可以对集合中的数据进行过滤，后者可以很方便的对对象数据进行字段的规整转换等操作

在flink中，也提供了类似的API操作，方便的对输入流数据进行处理，俗称：转换算子，下面对flink中常用的几个转换算子进行举例说明

1、Map操作

比如以读取下面的外部文件为例，在该文本文件中存在下面的内容

很明显，通过程序读取的时候，会一行行对数据进行解析，通过flink提供的map方法，可以将每一行读取的数据传入到map方法体中，然后可以根据实际情况，对当前行的数据做进一步处理

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.stre
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】基本转换算子使用之fliter、flatMap，键控流转换算子和分布式转换算子
weixin_43923463的博客
11-25 1827
针对每一个输入事件，算子将会更新保存的聚合结果，并发送一个带有更新后的值的事件到下游算子。那么使用递归又带来了一个问题，递归的栈会超过内存，造成内存溢出Stack Overflow，那么伪递归用新来的栈去覆盖原有的栈，栈的深度不变，所以可以使用伪递归来模拟循环，伪递归当中有累加器的存在。总结：滚动聚合的要点在于每一个Key都有自己的累加器（状态变量），一条数据来到处理完成之后就丢弃了，向下游发送的数据是累加器中的数据，这样就不需要将所有的数据都保存下来，节省内存空间，性能高于批处理。
Flink DataStream API（基础版）
mengxianglong123的博客
03-28 4567
概述   DataStream（数据流）本身是 Flink 中一个用来表示数据集合的类（Class），我们编写的 Flink 代码其实就是基于这种数据类型的处理，所以这套核心API 就以DataStream 命名。对于批处理和流处理，我们都可以用这同一套 API 来实现。   DataStream 在用法上有些类似于常规的 Java 集合，但又有所不同。我们在代码中往往并不关心集合中具体的数据，而只是用 API 定义出一连串的操作来处理它们；这就叫作数据流的“转换”（transformations）。  
Flink DataSet聚合、分区、排序、关联转换算子的使用
Bulut0907
10-23 3127
目录1. 聚合转换算子1.1 reduce1.2 aggregate1.3 distinct2. 分区转换算子2.1 partitionByHash、partitionByRange、sortPartition2.2 mapPartition3. 排序转换算子3.1 MinBy / MaxBy、First-N4. 关联转换算子4.1 join、leftOuterJoin、rightOuterJoin、fullOuterJoin、cross、coGroup 1. 聚合转换算子 1.1 reduce pack
Flink转换算子
yingzi的技术博客
04-15 1032
文章目录映射（map）过滤（filter）扁平映射（flatMap）聚合算子（Aggregation）按键分区（keyBy）+简单聚合归约聚合（reduce）用户自定义函数（UDF）函数类匿名函数（Lambda表达式）富函数类（Rich Function Classes）物理分区（Physical Partitioning） 映射（map） 基于DataStream调用map()方法就可以进行转换处理，方法需要传入的参数是接口MapFunction的实现，返回类型是 SingleOutputStreamO
5、flink任务中常用的转换算子（Transformation）
向热爱自己一样，热爱这个世界。
08-18 763
使用用户定义的 Partitioner 将元素分发到下游算子的分区中去// 1.获取执行环境/** 功能说明：* 自定义分区器，根据输入的数据获取分区编号* 泛型说明：* @K ： key的数据类型* */@Overridereturn 0;return 1;/** 功能说明：* key提取器，根据输入的数据，获取key* 泛型说明：* @IN ： 输入数据类型* @KEY ： 输出数据类型(key)* */
flink 转换算子
song_quan_的博客
11-03 648
Transform 转换算子 1 map 2 flatMap 3 Filter 4 KeyBy 5 滚动聚合算子（Rolling Aggregation） 这些算子可以针对 KeyedStream 的每一个支流做聚合 ⚫ sum() ⚫ min() ⚫ max() ⚫ minBy() ⚫ maxBy() 6 Reduce 7 Split 和 Select Split Select ...
Flink学习——基本转换算子
雷神乐乐的博客
05-17 974
Flink学习——基本转换算子 filter、map、min、minBy、max、maxBy、sum、reduce
Flink-转换算子
dafsq的博客
03-22 608
Flink-转换算子
Flink 算子汇总
qq_31021213的博客
07-13 718
Flink 算子汇总
三、Flink常用的转换算子
weixin_43857464的博客
12-04 1192
Flink常用转换算子常用转换算子类型一、基本转换算子1、map2、filter3、flatMap二、键控流转换算子1、keyBy：分组聚合，类似spark的groupByKey算子，将相同的key存到同一个分区中。2、 滚动聚合算子：由KeyedStream对象来调用，也就是需要用在keyBy之后。三、多流转换算子1、union：将多条流数据合并到一条流中2、connect：将两条流数据合并到一条流中三、分布式转换算子1、随机将数据打散到不同的分区（Random）2、轮询的将数据分配到不同的分区（Roun
Flink 算子Operators总结
qq_39974376的博客
09-03 733
Operator 作用 流的转换 map 将一个元素转换成另外一个元素 DataStream → DataStream本 flapmap 将几个的一个元素转换为零个，一个或者多个 DataStream → DataStream filter 保留集合中返回true的元素 DataStream → DataStream keyBy 对数据流进行逻辑分区，相同的key在同一分区 DataStream → KeyedStream re
Flink（五）转换算子
星星的博客
07-19 410
1.flatMap 数据扁平化操作 val data: DataSet[String] = env.readTextFile(inputPath) //3.对数据进行切分及其处理 val value: DataSet[String] = data.flatMap( ( _.split(",")) ) 2.map 改变其数据结构 //3.对数据进行切分及其处理 val value: DataSet[(String, String)] = data.map(
[flink 实时流基础] 转换算子
程序员三木的博客
03-31 1731
当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。1）自定义分区器@Override2）使用自定义分区。
硬核！一文学完Flink流计算常用算子（Flink算子大全）
wangxi06的专栏
03-12 3538
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： valenv=ExecutionEnvironment.getExecutionEnvironment valtextDataSet...
Flink 常用算子总结
Aspirin's Nest
11-29 898
1.前言 之前公司是用spark的，现在公司用flink，flink中有很多与spark不同的算子，功能非常强大，这里对一些不同于spark的算子使用方法进行总结，方便以后查阅。 一次可能更新不全，会慢慢总结，希望路过的看到的留言帮忙一起总结，谢谢大家。 2.connect/coMap/coFlatMap Connect算子主要是为了合并两种或者多种不同数据类型的数据集，合并后会保留原来数据集的数据类型。连接操作允许共享状态数据，也就是说在多个数据集之间可以操作和查看对方数据集的状态。 对于Con
flink常用算子整理
最新发布
努力工作学习的程序员
05-04 1863
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考。
【Flink】DataStream API使用之转换算子（Transformation）
菜鸟sdut的博客
06-26 1937
大多数操作都需要用户自定义 function，至于什么是自定义函数？我们可以通过自定义函数类或者匿名类来实现接口，也可以直接传入 Lambda 表达式。这就是谓的用户自定义函数（user-defined function，UDF）当Flink提供的分区策略不能满足我们的要求时，还可以通过使用partitionCustom()方法来自定义分区策略：自定义分区器（Partitioner）对象：对DataStream进行分区的。应用分区器的字段，指定方式与KeyBy指定key基本一样，可以通过字段名。
Flink总结
dhfzhishi的专栏
08-25 283
1、有状态计算：处理和维护所有已处理记录的状态。 2、无状态计算：每次转换一条输入记录，并且仅根据最新的输入记录输出结果。 3、一致性：exactly-once 系统保证在发生故障后得到的计数结果与正确值一致。（Storm Trident 和 Spark Streaming）在性能和表现力这两个方面付出了很大的代价。为了保证exactly-once ,这些系统无法单独地对对每条记录进行运用逻...
flink常用转换算子
05-04
### Flink 常用转换算子列表及使用示例 #### 1. **映射 (Map)** `map()` 是一种一对一的操作，用于将输入流中的每个元素通过指定函数进行转换。通常适用于简单的数据结构变换。 ```java DataStream<Integer> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值