laomei

flink yarn 核心入口方法 flink yarn集群模式运行的job，通过flink cli提交任务，对应的类为org.apache.flink.yarn.cli.FlinkYarnSessionCli。在FlinkYarnSessionCli对象内会创建org.apache.flink.yarn.YarnClusterDescriptor对象，此对象封装了创建flink yarn session逻辑。 org.apache.flink.yarn.YarnClusterDescriptor#depl

好久没写博客了，做了一段时间的日志采集和流处理，总结一下自己的工作吧。本人只涉及了日志埋点流处理，监控系统相关的内容不在本文，我也没有涉及到。 很有幸的是，在大数据前我负责了内部 debezium 相关的维护开发，所以本文也会介绍一下实时数据库变更流相关的内容。 目录概述日志采集端几个问题解决问题其它日志处理日志拆分埋点日志处理其它数据库变更流采集实时计算平台其它 概述 下图是目前我经手的整个实时...

OutputSelector能够将一条输入流拆分为多个输出流，例如常见的日志流，根据日志级别拆分，就可以通过OutputSelector实现。 可以通过一下代码，实现根据日志级别拆分日志流。 public class LogSelector implements OutputSelector<String> { @Override public Iterable&l...

1.下载confluent 4.0包, 地址https://www.confluent.io/download/,解压放到/opt下; 2.下载0.7.1的debezium, 地址https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.7.1/debezium-connector-mysql-0.7.1-plug

在自己电脑上跑了单台kafka, 之后尝试启动kafka connect,会启动失败, 因为启动的时候会创建config.storage.topic, offset.storage.topic, status.storage.topic相应的Topic; 默认创建这3个Topic时, 副本个数都为3, 但是我们只有一台kafka, 所以创建几个配置Topic失败; 也就导致启动失败; 还有一种情