最近研究Flink源码的时候，发现Flink已经支持提交StreamGraph到集群了，替换掉了原来的提交JobGraph。Flink2还移除了Per-Job的部署模式。

Flink读取gz文件，需要文件名后缀为.gz

java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.runtime.entrypoint.parser.CommandLineOptions解决方案：将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 放到 $FLINK_HOME/lib 下面JAR包下载地址：https://repo.maven.apache.org/maven2/org/apache/fli.

导入 clickhouse-jdbc 依赖<!-- https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc --><dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <versi.

最近做的一个需求，在一个Flink程序中，根据数据里面的ip进行分流，每个流对应一个ES的索引，一共有14个索引，开启checkpoint。运行报错：有些sink始终会导致ck失败，数据量也就100条。出现这个问题后，把ck去掉，程序正常写入，不报错了。==没有ck肯定不行，所以将ck加回来，后来看了下ElasticsearchSinkBase类的代码，实现了CheckpointedFunction接口，重写了snapshotState方法，里面会根据flushOnCheckpoint成员变量判

定义 AbstractClickHouseJDBCOutputFormatpackage cn.org.hooli.flink.api.java.io.jdbc;import org.apache.flink.api.common.io.RichOutputFormat;import org.apache.flink.configuration.Configuration;import org.slf4j.Logger;import org.slf4j.LoggerFactory;impor

将flink输出到hdfs的数据压缩成gzip格式CompressionOutputStreamWrapper.classimport org.apache.hadoop.io.compress.CompressionOutputStream;import java.io.Serializable;public class CompressionOutputStreamWrapper ...