大数据_Flink_Java版_循环遍历flatMap以后得到的DataSet_---Flink工作笔记0101

添柴程序猿

于 2022-04-07 13:30:00 发布

阅读量807

点赞数

CC 4.0 BY-SA版权

分类专栏：离&实时计算&大数据文章标签： flink 大数据 big data 架构 java

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123895880

离&实时计算&大数据专栏收录该内容

191 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

本文介绍了如何在Flink Java API中对flatMap操作后的DataSet进行循环遍历，通过获取iterator来详细处理每个元素。这种方法允许开发者直接处理计算结果，例如从元组中提取数据，并用于实时存入数据库如ES的操作，而非直接使用Flink的内置sink。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.company.project.flink;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.IterativeDataSet;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

import java.util.Iterator;
import java.util.List;

public class WordCount {

    public static void main(String[] args) throws  Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        String inputPath = "D:\\Yd4_20211115\\SVN\\backsource\\YdMddServer\\src\\main\\resources\\hello.txt";

        DataSet<String> inputDataSet = env.readTe