peidezhi的专栏

flink reduce

参考文档：https://blog.youkuaiyun.com/weixin_43161811/article/details/103152867入口命令(参看第一篇文章)：java ClientFrontend run -c com.tclking.ai.PVUVDayMain -m yarn-cluster examples/batch/WordCount.jarClientFron...

1 提交自己打包的流job./bin/flinkrun -c com.tclking.ai.PVUVDayMain -m yarn-cluster examples/batch/WordCount.jar2 flink 脚本内容：target="$0"iteration=0# 判断脚本名合法性while [ -L "$target" ]; do if...

参考文章：https://blog.youkuaiyun.com/weixin_43161811/article/details/103151644从上篇文章，我们知道，flink脚本提交后，由CliFrontend main开始执行。/** Submits the job based on the arguments. */ public static void main(final...

Flink写HDFS，目前常用的有 BucketingSink， StreamingFileSink. BucketingSink后续会被StreamingFileSink替代。不过功能实现都还是很强大的。 Streaming支持一些BucketingSink不支持的特性，如S3, parquet格式写等等，1 代码示例：impor...

Flink比较完美的支持kerberos读写Kafka.1flink-conf.yaml , 将如下涉及kerberos的配置注解去除2 代码读写kafka示例如下：def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args)...

1 kafka数据源，设置水印，一般直接在数据源消费者上加载。如下：2 水印并发度设置2.1 对于kafka数据源。 我们设置并发度一般设置topic对应的分区数。如果分区数为2，则为2。如果设置为4， 实际上即时启动了4个task，也只有2个真正消费数据并产生水印。另外2个task一致在等待，不会发出水印。如下图，为分区为2，设置并发度为4的情况，可以看...

1 原理flink通过checkpoint来进行状态保存，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态， 保证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport algorithm”算法，通过checkpoint频率时间定时发送barrier消息。 (分布式快照算)...

1 Flink背压原理任务A写, 任务B读， 2者都是先申请 local buffer pool, 满了之后再向network buffer pool申请。消费下游： local buffer pool和network buffer pool满了之后，发送消息给上游（ResultSubparittion)，上有不在发送消息，下游的 input channel将不会接受到新的数...

一、Yarn session（一般测试环境）yarn session会初始启动指定的tm数量。 job提交后再指定的session 内运行。其它job运行，如果资源不够，就会一直等待直到占用的job运行完毕释放资源。jm所有job共享1 在任意几点启动yarn-session:下述属性启动4个任务管理器。 每个任务管理器占用1024M内存，且每任务管理器分配2个SLO...

1 安装基于CDH6.2.0环境. hadoop版本3.0 spark版本2.4， 自带scala版本2.11.122 下载flink1.9http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.0/flink-1.9.0-bin-scala_2.11.tgz3解压tar -vxf fl...