Rashaun`s blog

在workspace中使用quickstart脚本clone curl https://flink.apache.org/q/quickstart.sh | bash 然后在idea中导入即可

        Flink有一个特殊的类DataSet和DataStream来表示程序中的数据。您可以将它们视为不可变的数据集合，可以包含重复的数据。在DataSet的情况下，数据是有限的，而对于DataStream，元素的数量可以是无限制的。         这些集合在一些关键方面与常规Java集合不同。 首先，它们是不可变的，这意味着一旦创建它们就不能添加或删除元素。 你也不能简单地检查里面...

        一些转换（join，coGroup，keyBy，groupBy）要求在一组元素上定义一个键。其他转换（Reduce，GroupReduce，Aggregate，Windows）允许使用key 对数据进行分组。 DataSet被分组为：   DataSet<...> input = // [...] DataSet<...> reduce...

        Flink中的DataStream程序是对数据流进行转换的常规程序（例如，过滤，更新状态，定义窗口，聚合）。数据流的最初的源可以从各种来源(例如，消息队列，套接字流，文件)创建，并通过sink返回结果，例如可以将数据写入文件或标准输出。Flink程序以各种上下文运行，独立或嵌入其他程序中。执行可能发生在本地JVM或许多机器的集群上。 一，套接字流         下面举一个例子...

https://ci.apache.org/projects/flink/flink-docs-release-1.3/api/scala/index.html#org.apache.flink.api.scala.DataSet           本文介绍 org.apache.flink.api.scala.DataSet 下的数据集，Flink的基本抽象。这表示一个特定类型的元素集合。...

这种类型的分区有助于均匀地分配数据。它通过循环的方式对数据进行分发。当数据倾斜时，这种类型的分区很好。     private static final long serialVersionUID = 1L; private final int[] returnArray = new int[]{-1}; ​ public RebalancePartitioner() ...