Flink
DeathGXD
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink消费Kafka数据时指定offset的五种方式
下面是Flink读取Kafka数据的代码,其中就有五种读取offset的方式,并配置相应的介绍final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.enableCheckpointing(5000);env.setStreamTimeCharacteri...原创 2019-06-18 10:47:43 · 17104 阅读 · 2 评论 -
Flink自定义Sink
Flink自定义Sink需要建议继承RichSinkFunction类,具体如下,在下列代码中详细介绍:/*** 继承RichSinkFunction<String>类,其中String为source端传到sink的数据类型,这个视Source端数据类型而定。*/public class CouponSink extends RichSinkFunction<String...原创 2019-06-18 10:53:21 · 8199 阅读 · 2 评论 -
Could not flush and close the file system output stream
最近发现了一个问题,虽然是他人给自己挖的一个坑,但是还是记录一下吧。一个Flink消费Kafka的程序,Flink on Yarn模式,之前在测试和生产环境发布,都是正常的,没有任何问题,但是后来把测试环境重启了一下,又重新发了一次,竟然报错了,错误如下:2019-07-01 15:19:25,984 INFO org.apache.flink.runtime.taskmanager.Task...原创 2019-08-05 14:29:18 · 3512 阅读 · 1 评论
分享