flink 常用算子之map、filter和flatMap

最新推荐文章于 2025-10-26 16:45:18 发布
原创 最新推荐文章于 2025-10-26 16:45:18 发布 · 4.7k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

Transformation各算子可以对Flink数据流进行处理和转化，是Flink流处理非常核心的API。

map

map算子对一个DataStream中的每个元素使用用户自定义的map函数进行处理，每个输入元素对应一个输出元素，最终整个数据流被转换成一个新的DataStream。输出的数据流DataStream[OUT]类型可能和输入的数据流DataStream[IN]不同。

如业务需求可以对一些数据进行拼接字符，倍数扩大等场景使用。

我们可以重写MapFunction或RichMapFunction来自定义map函数：

我们新建一个map实现MapFunction接口并重写方法。我们实现的方法很简单就是将数据流中的元素拼接一段字符串。

将其作为参数传递到stream的map方法中。

但是运行时报错了

这块我也研究了半天/(ㄒoㄒ)/~~，此处需要注意的是，map()方法传入的参数需要严格指定泛型，来适应上下文环境，否则就会报错。因为我们做出修改。

最低0.47元/天 解锁文章
Flink之filter操作
技术博客
08-03 695
filter()转换需要传入的 参数需要实现 FilterFunction 接口，而 FilterFunction 内要实现 filter()方法，就相当于一个返回 布尔类型的条件表达式。filter()转换操作，顾名思义是对数据流执行一个过滤，通过一个布尔条件表达式设置过滤 条件，对于每一个流内元素进行判断，若为 true 则元素正常输出，若为 false 则元素被过滤掉。实例2，有netcat输入，1,3,5,7,9，偶数输出，奇数不输出。实例3：在netcat中输入数据，zhangsan,m,18。
Flink-FlatMapFunction
文天大人
04-03 564
怀念二抱三抱
一图明白：flatMap和map的区别
weixin_42272887的博客
07-23 1740
一图明白：flatMap和map的区别 一map:对每一个元素进行操作 比如：（“a”,“b”,“c”,“d”) 需要对它加个”#“ ，就是每个元素都加在后面加个”#“ （“a#”,“b#”,“c#”,“d#”） 二flatMp:简单来说就是切分单词的，把一个单词分成两份 ...
Stream flatMap详解与应用实战
最新发布
2401_89221867的博客
10-26 827
Stream API 中的flatMap方法是一个功能强大但有时会让人感到困惑的工具。它专为处理嵌套结构或"一对多"元素映射场景而设计，能将复杂的集合层次"拍平"为单一流。下面我们深入解析其核心原理、典型应用及实战技巧。
「Flink」算子主要方法介绍
danjiujiaohun的博客
06-22 1168
算子在Flink的开发者文档中是这样介绍的：通过算子能将一个或多个 DataStream 转换成新的 DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。这简单总结就有点类似于Flink的一些API，来对数据流进行操作处理。
Flink学习之 - map与flatMap
sasa527的专栏
10-27 1013
import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichMapFunction..
Flink零基础学习教程：map、filter和flatMap算子实例详解
皮皮鲁的AI星球
12-17 3569
本文将对Flink Transformation中各算子进行详细介绍，并使用大量例子展示具体使用方法。Transformation各算子可以对Flink数据流进行处理和转化，是Flink流处理非常核心的API。如之前文章所述，多个Transformation算子共同组成一个数据流图。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UDnkbPZD-157655402...
Flink基本转换算子map/filter/flatmap
优质大数据领域知识记录
12-07 1518
map是大家非常熟悉的大数据操作算子，主要用于将数据流中的数据进行转换，形成新的数据流。简单来说，就是一个“一一映射”，消费一个元素就产出一个元素。我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现；返回值类型还是DataStream，不过泛型（流中的元素类型）可能改变。面代码中，MapFunction实现类的泛型类型，与输入数据类型和输出数据的类型有关。
【Flink】基本转换算子使用之fliter、flatMap，键控流转换算子和分布式转换算子
weixin_43923463的博客
11-25 1820
针对每一个输入事件，算子将会更新保存的聚合结果，并发送一个带有更新后的值的事件到下游算子。那么使用递归又带来了一个问题，递归的栈会超过内存，造成内存溢出Stack Overflow，那么伪递归用新来的栈去覆盖原有的栈，栈的深度不变，所以可以使用伪递归来模拟循环，伪递归当中有累加器的存在。总结：滚动聚合的要点在于每一个Key都有自己的累加器（状态变量），一条数据来到处理完成之后就丢弃了，向下游发送的数据是累加器中的数据，这样就不需要将所有的数据都保存下来，节省内存空间，性能高于批处理。
flink学习(3)之flink的算子map,flatMap,mapPartition,filter,distinct
枣泥馅的博客
03-07 2473
首先我们看flink的算子map、flatMap、mapPartition，这些都是flink的循环操作算子，下面是演示代码： import org.apache.flink.api.common.JobExecutionResult; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.MapFunction; import org.apache
Flink练习第三天：转换算子练习--map、flatmap、filter、reduce、simpleagg
东城庞太师
05-04 1155
目录 map flatmap filter reduce simpleagg map map package com.atguigu.chapter05; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.d
Flink从入门到放弃—Stream API—常用算子（map和flatMap）
京河小蚁的博客
11-13 1813
flink map和flatmap算子源码解析
【flink番外篇】1、flink的23种常用算子介绍及详细示例（1）- map、flatmap和filter
热门推荐
alanchanchn的专栏
12-04 6万+
本文主要介绍Flink 的3种常用的operator（map、flatmap和filter）及以具体可运行示例进行说明.将集合中的每个元素变成一个或多个元素,并返回扁平化之后的结果。按照指定的条件对集合中的元素进行过滤,过滤出返回true/符合条件的元素。本文主要介绍Flink 的3种常用的operator及以具体可运行示例进行说明。这是最简单的转换之一，其中输入是一个数据流，输出的也是一个数据流。下文中所有示例都是用该maven依赖，除非有特殊说明的情况。中了解更新系统的内容。中了解更新系统的内容。
Flink之flatMap操作
技术博客
08-03 953
总之，‌Flink的flatMap操作是一种强大的数据转换工具，‌它通过结合扁平化和映射的功能，‌为用户提供了灵活且高效的数据处理方式，filter算子是过滤筛选，将所有符合判断条件的结果集输出。：‌在实际应用中，‌flatMap可以用于各种数据转换任务，‌如切词、‌数据拆分、‌数据清洗等。‌例如，‌可以将一个包含多个字段的记录拆分成多个单独的字段进行处理，‌或者根据特定条件对数据进行过滤和转换。：‌flatMap允许用户定义一个函数，‌该函数对输入的每个元素进行处理，‌并可能产生零个或多个输出。
Flink算子 flatMap
Claroja
12-12 2008
package com.claroja; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.util.Coll
Flink 系例 之 Map
不会飞的小龙人的博客
09-14 858
Map算子：对数据流一对一的加载计算，并返回一个新的对象 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源 Flink 系例 之 搭建开发环境与数据 Map.java import com.flink.demo.DataSource; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tup.
Flink中的map/flatMap/keyBy算子
weixin_44437669的博客
10-16 578
3.使用富函数类，其中open方法是初始化方法，当算子map方法被调用之前，open()首先会被调用。1.传入匿名类，实现FlatMapFunction。2.使用匿名类实现KeySelector。代码来源于尚硅谷课程的资料。2.使用Lambda表达式。1.使用Lambda表达式。
【Flink】任务调度原理、自定义数据源、基本转换算子的使用之map
weixin_43923463的博客
11-24 1533
Flink中每一个worker(TaskManager)都是一个**JVM**进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的**一个固定大小的子集**。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其
flink无状态转换算子map() flatMap()
铛铛当的博客
08-25 1万+
Apache Flink常见的一些场景为数据的ETL（抽取、转换、加载）管道任务。 从一个或多个数据源获取数据，进行一些转换操作和信息补充，将结果存储起来。 无状态转换 无状态的转换：包括map()和flatmap() map() 调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集。 map()基本是一对一服务
flink 常用算子
05-15
<think>好的，用户想了解Flink的常用算子及其用法。首先，我需要回忆Flink的核心算子，并按照分类来组织，比如数据转换、合并、分区等。记得用户之前提到的引用内容中有提到23种常用算子，可能需要参考这些分类。 首先，Flink的算子可以分为几大类：数据转换（如map、flatMap、filter）、数据合并（如union、connect）、数据分区（如keyBy、shuffle）、窗口操作（如window、join）等。每个类别下需要列出具体的算子，并给出示例代码，这样用户更容易理解。 接下来，要注意用户提到的格式要求，行内数学表达式用$...$，独立公式用$$...$$，但这个问题可能更多涉及代码示例，所以需要确保代码块正确使用反引号包裹，并标明语言类型。比如Python示例需要用python标签。 然后，每个算子需要简要说明其作用和使用场景，例如map用于一对一转换，flatMap用于一对多。同时，代码示例要简洁明了，比如map的例子可以是简单的数值转换，flatMap可以是拆分字符串。 用户可能还关心算子的链式操作，比如startNewChain和disableChaining，这些优化技巧也需要提及。另外，侧输出流（Side Output）也是一个重要概念，可以举例说明如何将不同数据分流处理。 关于窗口操作，需要提到时间窗口和计数窗口，比如滚动窗口和滑动窗口的区别，并给出相应的代码片段。例如，TumblingProcessingTimeWindows表示滚动处理时间窗口。 还要注意用户提到的引用文献，引用[1]和[2]中提到的union、window join、connect等算子需要包含在回答中。例如，union用于合并多个流，connect则用于连接不同类型的流，处理后再分开。 最后，生成相关问题需要考虑用户可能想深入的方向，比如性能优化、实际应用案例、状态管理或容错机制。这样能帮助用户进一步学习。 需要检查是否所有示例代码都符合Flink的DataStream API，特别是Java和Python的不同语法。用户可能需要多语言的示例，但根据问题描述，示例可能以Python为主，或者需要明确说明语言类型。 总结下来，回答的结构应该是先分类介绍常用算子，每个算子给出说明和代码示例，最后附上相关问题。确保引用标记正确，如[^1][^2]放在对应的位置，比如在union、connect等算子说明后。</think>以下为Flink常用算子的分类说明及使用示例，结合DataStream API（Java/Python）实现： --- ### 一、基础转换算子 1. **Map** - 作用：一对一转换数据元素 - 示例： ```java DataStream<Integer> numbers = env.fromElements(1, 2, 3); numbers.map(x -> x * 2); // 输出2,4,6 ``` 2. **FlatMap** - 作用：一对多转换，可输出0或多个元素 - 示例： ```python data_stream.flat_map(lambda x: x.split(" ")) # 拆分字符串为单词 ``` 3. **Filter** - 作用：过滤不符合条件的元素 - 示例： ```java dataStream.filter(x -> x.contains("error")); // 筛选含error的日志 ``` --- ### 二、流合并算子 4. **Union** - 作用：合并多个同类型数据流 - 示例： ```python stream1.union(stream2, stream3) # 合并3个流[^1] ``` 5. **Connect** - 作用：连接不同类型数据流，形成ConnectedStreams - 示例： ```java ConnectedStreams<String, Integer> connected = stream1.connect(stream2); connected.map(new CoMapFunction<>() { public String map1(String value) { return value.toUpperCase(); } public Integer map2(Integer value) { return value * 10; } }); ``` --- ### 三、数据分区算子 6. **KeyBy** - 作用：按指定键进行逻辑分区 - 示例： ```python data.key_by(lambda x: x[0]) # 按元组第一个字段分区 ``` 7. **Shuffle** - 作用：随机均匀分配数据 - 示例： ```java dataStream.shuffle(); ``` --- ### 四、窗口操作 8. **Tumbling Window** - 作用：固定大小的无重叠窗口 - 示例： ```java dataStream.keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.seconds(5))); ``` 9. **Sliding Window** - 作用：带滑动步长的窗口 - 示例： ```python data.key_by("user_id").window(SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5))) ``` --- ### 五、高级功能 10. **Side Output** - 作用：将特殊数据分流处理 - 示例： ```java OutputTag<String> lateDataTag = new OutputTag<>("late-data"); SingleOutputStreamOperator mainStream = stream.process(new ProcessFunction() { public void processElement(...) { if (isLateData(...)) { ctx.output(lateDataTag, value); } } }); ``` 11. **Iterate** - 作用：创建迭代循环 - 示例： ```java IterativeStream<Integer> iteration = numbers.iterate(); iteration.closeWith(iteration.filter(x -> x > 0)); // 持续处理正数[^1] ``` --- ### 六、性能优化算子 12. **Caching** - 作用：缓存数据集减少重复计算 - 示例： ```python cached_data = data_stream.cache() ``` --- ### 七、输出算子 13. **AddSink** - 作用：自定义输出到外部系统 - 示例： ```java stream.addSink(new ElasticsearchSink<>(config, transportClientProvider)); ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值