sxau_zhangtao的博客

FLINK ON YARN内存计算在使用命令提交任务到yarn时：flink run -m yarn-cluster -ys 2 -p 1 -yjm 1G -ytm 2Gys 表示为一个taskManager的slot大小p 表示任务的并行度yjm 表示为jobManager的内存大小ytm 表示为一个taskManager的内存大小计算公式：jobManager个数 = 1 固定taskManager个数 = p / ys + 1 向下取整yarn的vcore个数=slot

yarn top类似linux里的top命令，查看正在运行的程序资源使用情况yarn queue -status root.users.xxxx查看指定queue使用情况yarn application-list -appStates 【ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED】-list -appTypes [SUBMITTED, ACCEPTED, RUNNING]查看app状态-..

文章目录1.YARN关键参数配置1.1 yarn中单个nodemanager控制container的个数1.2 resourceManager1.3 executor堆外内存2.YARN内存参数计算实例2.1 SPARK ON YARN-CLUSTER2.2 SPARK ON YARN-CLIENT3. spark on yarn内存申请3.1 yarn两个默认内存参数3.2 spark3.3 yarn对spark任务内存的申请计算方式3.3.1 executer使用的内存计算3.3.2 driver的内存

文章目录dfsadmin主要操作命令hdfs主要操作命令-appendToFile-cat-chgrp-chmod-chown-copyFromLocal-copyToLocal-count-cp-du-dus-expunge-get-getfacl-getfattr-getmerge-ls-lsr-mkdir-moveFromLocal-moveToLocal-mv-put-rm-setfacl-setfattr-setrep-stat-tail-test-text-touchzdfsadmin主要操作

文章目录数据流模型复杂流可靠性可恢复性sourceAvro SourceThrift SourceExec SourceSpooling Directory SourceEvent反序列化器LINEAVROBlobDeserializerKafka SourceNetCat TCP SourceNetCat UDP SourceSyslog SourcesSyslog TCP SourceMultiport Syslog TCP SourceSyslog UDP SourceInterceptorTimes

kafka命令行操作zookeeper管理命令启动zookeeper查看状态重新启动停止zookeeperkafka命令行操作启动关闭topic系列（2181是zookeeper的端口）查看当前所有topic新建topic删除topic详情topic增加topic分区数目查看topic某分区偏移量最大（小）值offset生产者系列（9092是kafka的端口）启动生产者，生产消息消费者系列启动消费者,消费消息查看所有消费者组查看消费者组消费情况使用kafka的前提是安装zookeeper，请确认安装了zo