Flink DataStream API - Sink 结果输出

最新推荐文章于 2025-02-18 13:16:04 发布

李思净

最新推荐文章于 2025-02-18 13:16:04 发布

阅读量6.3k

点赞数 3

分类专栏：大数据计算框架 - Flink

本文链接：https://blog.youkuaiyun.com/jikui0581/article/details/97388696

版权

大数据计算框架 - Flink 专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何使用Apache Flink的DataStream API进行数据输出操作，包括打印至控制台、文本文件、CSV文件、socket，以及通过连接器发送至Kafka。每种输出方式都提供了具体的代码示例，帮助读者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataStream API - Sink

打印至控制台

// 获取运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 获取数据源
DataStream<String> text = env.socketTextStream("IP", port, "\n");

...省略中间算子处理...

// 使用一个并行度将结果打印至控制台
text.print().setParallelism(1);

打印至文本文件

// 获取运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 获取数据源
DataStream<String> text = env.socketTextStream("IP", port, "\n");

...省略中间算子处理...

// 使用一个并行度将结果打印至文本文件
text.writeAsText(String path).setParallelism(1);

打印至csv文件

// 获取运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 获取数据源
DataStream<String> text = env.socketTextStream("IP", port, "\n");

...省略中间算子处理...

// 使用一个并行度将结果打印至控制台
text.writeAsCsv(String path).setParallelism(1);

打印至scoket

// 获取运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 获取数据源
DataStream<String> text = env.socketTextStream("IP", port, "\n");

...省略中间算子处理...

// 使用一个并行度将结果打印至控制台
text.writeToSocket(hostName, port, schema).setParallelism(1);

通过连接器打印到Kafka

// 获取运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 获取数据源
DataStream<String> text = env.socketTextStream("IP", port, "\n");

...省略中间算子处理...

// 使用一个并行度将结果打印至控制台
String kafkaTopic = params.get("kafka-topic");
String brokers = params.get("brokers", "localhost:9092");
text.addSink(new FlinkKafkaProducer010(brokers, kafkaTopic, (SerializationSchema) new EventDeSerializer())).setParallelism(1);