weixin_42126962的博客

datastream的keyby是按当前key的hashcode对数据重新分区stream输出前面的4>代表当前并行执行的线程编号，也可以认为是真分布式时对应的分区编号可以用flink自带的ParameterTool提取配置项bin目录里的flink文件功能是：启动集群后，所有命令行操作都能用它...

从csv格式的数据集中读取数据，创建我自定义的GeoMessage对象，把对象放在集合里，通过flink的fromCollection()方法把集合作为数据源，然后通过实现map接口转换数据。需要注意的是GeoMessage类必须继承实现序列化接口，即public class GeoMessage implements Serializableimport org.apache.flink.api.java.DataSet;import org.apache.flink.streaming.api.d

1.简单讲解对于这个简短的程序，逻辑还是非常简单的。首先创建一个流处理环境env;然后往这个环境添加数据源，比如env.socketTextStream，和env.addSource(kafkaSource);自定义算子，算子的作用是对传输过来的每一条数据进行处理，是数据处理的核心部分。在下面的程序里，我们重写了flatMap()方法，flatMap+keyBy+sum就完成了一条消息的word count。env.execute()执行任务。实际上前面的部分是我们定义了这个任务的执行规则，到这