xiaoliu_1的博客

背景上一篇文章介绍了根据flink 官方的metric reporter ， 选择influxdb 保存metrics 来监控 flink指标， 因为自己构件grafana dashboard 的经验不多，在grafana dashboards 列表中找到别人导出的一个模版也不是很满足需求，而看到网上大家利用 Grafana + Prometheus 做监控的比较多，所以这篇文章在做一次Flink report 到 Prometheus 的 setup 和使用 。虽然市面上（网上）这些文章很多...

介绍Flink 提供了很多的metrics ，和reporter ，官方地址：https://ci.apache.org/projects/flink/flink-docs-release-1.12/ops/metrics.html#iohttps://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/metric_reporters.html#influxdb-orgapacheflinkmetricsinfl...

背景项目中有一个多进程的任务，需要读取 kafka ，对象我们叫他 T， kafka 是T的PB格式， T有KEY 。 任务的目的是将T 专程JSON 交给下游的分析引擎分析。 每天T 的量有几亿条～Flink 的版本是 1.12.1 。特点T 是在 OpenRTB 中记录整个过程的Transaction，同时T 有可能在 transient 状态，是不完整的，所以要判断当前要 emit 的T 是否是完整的，不完整的直接 filter 掉Flink 改写flin...

Maven Archetype类似Spring project initializer ，根据配置向导可以生成maven的projectsketch，这个模版中定义了pom文件和项目结构，java 代码的demo， 和编译运行所需要的基本的依赖等。Flink Maven Archetypehttps://ci.apache.org/projects/flink/flink-docs-release-1.12/try-flink/datastream_api.htmlFlink 官方文..

Flink SQL ClientFlink’s Table & SQL API makes it possible to work with queries written in the SQL language, but these queries need to be embedded within a table program that is written in either Java or Scala. Moreover, these programs need to be .

组内搭建一个小集群， 10+个节点，因为SRE 权限没给到，想在上边跑一些自己的任务，找了一台能连接到Master 的机器