a6822342的博客

如下代码可以实现增量从文件地址读数据，读完一次之后，若你对文件增加了数据，它会相应的读出来。

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/config.html#configuring-taskmanager-processing-slots           https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/pa

其实standalone模式挺容易部署的，首先我们修改/etc/hosts，将网址和主机名进行映射，将你想要搭成一个flink集群的机器写进去，我这里用三台机器组成一个flink集群，效果图如下：然后，我们只需要在一台机器上先解压flink压缩包，然后修改其中的flink-yaml文件中的jobmanager.rpc.address属性值，将其设置为你的master节点，类比我图中的1

读数据DataSet<String> hdfslines=env.readTextFile("your hdfs path")写数据hdfslines.writeAsText("your hdfs path")以上会根据你的默认的线程数来生成多少个分区文件，如果你想最后生成一个文件的话，可以在后面使用setParallelism(1)，这样最后就只会生成一个文件了。

最近在找一些写入到flink写入到hdfs的方法，然后在官网找到了这个(https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/filesystem_sink.html)，然后就尝试着去使用这个，虽然能把数据写到hdfs上面去，但是是分片的，结果图如下：里面的内容是把我原来上传的文件给分片了。ps：我

最近找到这个对事件时间处理和水印说的比较好的文章，所以转载一下，供大家分享，原文连接：http://vishnuviswanath.com/flink_eventtime.html 本文用途纯粹是为了分享，如若有侵权，请与我联系~下面是原文： 如果您正在构建实时流媒体应用程序，则事件时间处理是您必须迟早使用的功能之一。由于在大多数现实世界的用例中，消息到达无序，应该有一些方法，您建立的系统了解消

①传递参数 所有需要用户定义的函数都可以转换成richfunction，例如实现map operator中你需要实现一个内部类，并实现它的map方法：data.map (new MapFunction<String, Integer>() { public Integer map(String value) { return Integer.parseInt(value); }});然后我们

这里用的是用官网提供的maven命令构建的flink1.4.0的flink-quick-start工程，具体构建工程命令如下mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.4.0然后会获取到