
Flink
万事无Bug
南昌大学 低调学Java
展开
-
Flink写入Kafka
Flink写入Kafkaimport org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.strea原创 2021-10-12 16:28:44 · 1934 阅读 · 0 评论 -
Flink读取kafka数据并进行单词计数
Flink读取kafka数据并进行单词计数前言:这是一个使用Flink实时读取kafka数据,并将单词个数统计实时输出到控制台的demo.依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId>原创 2021-10-12 16:06:46 · 778 阅读 · 0 评论 -
Flink实现单词计数并写入MySQL
Flink实现单词计数并写入MySQL依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.14.0</version> &l原创 2021-10-11 14:56:21 · 223 阅读 · 0 评论 -
Flink批处理读取MySQL
Flink读取MySQL前言:这里使用JDBCInputFormat类专门实现Flink读取MySQL数据的功能。依赖: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <vers原创 2021-10-11 11:51:51 · 2467 阅读 · 0 评论 -
Flink批处理写入MySQL
Flink写入MySQL前言:主要是使用到JDBCOutputFormat类去实现写入的功能。前提要在数据库中创建好对应的表和字段哦依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> &l原创 2021-10-11 11:43:35 · 1528 阅读 · 0 评论 -
Flink实现实时单词计数(WordCount)
Flink实现实时单词计数(WordCount)前言:借助netcat向本机指定端口发送文本信息,而后通过Flink实时接收,并输出个数在控制台public class Netcat { public static void main(String[] args) throws Exception { StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();原创 2021-10-09 18:22:23 · 720 阅读 · 0 评论 -
keyBy()用法 Flink
Flink对数据分区前言:Flink其实是不存储键值对数据的,但是我们可以人为创建key,将其分组。下面介绍如何使用map算子人为将数据分区。介绍keyBy()用法1 按照元组的元素来分区. //流处理环境 StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> text =原创 2021-10-08 15:45:41 · 3464 阅读 · 0 评论 -
Flink常用算子及其使用
Flink常用算子及其使用常用算子:基本使用:1、map //创建执行环境(批处理) ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); //map算子 DataSource<Integer> data1 = env.fromCollection(Arrays.asList(1, 2, 3, 4, 5)); d原创 2021-10-08 10:52:39 · 374 阅读 · 0 评论