
flink
故乡的花又开了吗
这个作者很懒,什么都没留下…
展开
-
Flink 常见错误集合
遇到错误,错误具体如下图所示:Exception in thread “main” java.lang.IllegalStateException: No ExecutorFactory found to execute the application.经过搜索发现,这个错误其实很简单,主要就是因为flink程序执行时的依赖缺少导致的,缺少的依赖时flink-client,引入这个依赖,重新启动就可以了。<dependency> <groupId>or原创 2021-11-19 14:02:43 · 2362 阅读 · 0 评论 -
CepOperator -> Sink: Print to Std. Out (3/6) (c2b48c8d25739a404a24562a6c3b5d4e) switched from RUNNIN
CepOperator -> Sink: Print to Std. Out (3/6) (c2b48c8d25739a404a24562a6c3b5d4e) switched from RUNNIN原创 2021-11-08 16:56:14 · 1781 阅读 · 0 评论 -
kafka自动提交offset的设置理解
1 开启checkpoint时:我们需要在数据流创建的时候设置开启自动提交offst至checkpoint,它会自动同步offset到kafka这样设置之后,程序在checkpoint时,如果checkpoint成功, 那么会同步当前checkpoint中的offset至kafka2 关闭checkpoint时:1、如果还想自动提交offset可以在kafka的prop中设置2、如果是自动管理offst你需要自己设置offset的保存位置(redis,zookeeper,mysql)等,原创 2021-09-17 09:55:38 · 641 阅读 · 0 评论 -
flink如何管理kafka的消费的offset
7.了解一下,如何管理kafka的消费的offsetearliest: 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费latest: 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据none: topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常对于offset的设置,目前的我程序是这样一个情况: 1.原创 2021-09-06 15:18:43 · 2226 阅读 · 0 评论 -
flink启动找不到yarn-session.sh命令
这个错误其实很低级,主要就是我安装flink的时候,以为自己配置了环境变量,谁知其实并没有配置环境变量。主要还是因为自己当初安装flink的几种模式时,是分开复制安装,导致自己以为配置了环境变量,还有一个需要注意:yarn-sisson.sh是flink/bin/的命令,并不是hadoop的yarn的命令。...原创 2021-08-11 11:09:00 · 668 阅读 · 0 评论