qq_35939417的博客

了解分片的基本原理，对Elasticsearch性能调优有帮助。

两年后，我又开始搞flink了！这次又是接手别人的项目，估计又有不少的坑要踩。这不，问题来了。生产环境的某个job每跑7天就会挂掉，由于没有任何日志，所以不知道发生了什么。我们的flink是跑在yarn上，记录日志的方法有很多，我这里选择flink historyserver。没有historyserver时，flink的web UI只在job运行时能用，开启historyserver之后就算job挂掉了，也能通过web UI看历史job的元数据和异常信息。

本文将Elasticsearch的常用RESTful API整理在一起，想用的时候直接复制粘贴，提高开发效率。

Docker Hub地址Flink官网地址拉取Flink镜像，可以指定版本号：docker pull flink:1.10.0创建Flink network：docker network create flink-network创建并启动JobManager容器：docker run -d --name=jobmanager --network flink-network --publish 8081:8081 --publish 6123:6123 --env FLINK_PROPERT

熟悉java的人都知道java.lang.OutOfMemoryError: Metaspace异常产生的原因是“元数据区”内存溢出了，从JDK8开始，HotSpot JVM废弃了永久区PermGen space，采用Metaspace保存class名称、字段、方法、字节码,、常量池、JIT优化代码等信息。所以出现这个异常的原因一般是加载到内存中的类太多了。通过 ps -ef|grep flink 可以查看flink进程的Metaspace配置，如图：还可以通过 jinfo -flag Metaspac

我的项目是从Kafka消费消息，计算之后发送到elasticsearch存储。现象：每次重启Flink Task，都会往elasticsearch发送已经计算过的数据。比如本来elasticsearch有3条记录，在不往Kafka生产新消息的情况下，重新启动Flink Task之后有6条，再重启是12条，说明数据重复。初步怀疑是重复消费Kafka的消息，可能是offset没有提交。于是在Fli...

刚接触Flink不久，照着之前的一个老项目重构。好不容易写完代码并解决完各种报错，结果发现即使不报错也无法运出自己想要的效果。调试发现能正常消费到Kafka的消息，但是却无法触发窗口计算。在网上翻到一篇博客问题定位：Flink水位线不触发问题 ,上面说是watermark有问题，通过Flink的管理控制台发现watermark没生成：注意，截图的时候我的问题已经解决了，没有watermark的时...