csdn_chshuai的博客

业务场景： Flink On Yarn任务启动 组件版本： CDH：6.3.0 Flink：1.12.1 Hadoop：3.0.0 问题描述： 在使用FLink on Yarn调度过程中，发现taskmanager总是分配在集中的几个节点上，集群有11个节点，但每个任务启动，只用到两三个节点，导致这几台服务器负载过高，其他节点又比较空闲。 问题分析： 先介绍yarn的两个参数： 1、yarn.scheduler.fair.assignmultiple 2、yarn.scheduler.fair.max.

业务场景： Flink消费Kafka数据写入Hbase 组件版本： CDH：6.3.0 Flink：1.12.1 Hbase:2.1.0-cdh6.3.0 问题1： java.lang.NoSuchMethodError:org.apache.commons.cli.Option.builder(Ljava/lang/string;) 问题原因： hadoop-common依赖中commons-cli版本过低，导致程序运行找不到最新版的方法 解决办法： 剔除Hadoop中commons-cli的依赖，并添