u012447842的博客

运行flink 在on yarn环境当我使用-p8-ys 2启动flink时，我假设yarn将为唯一的任务管理器容器分配2个vcore，但是当我从yarn resource manager web ui检查每个容器的vcore数时，我总是看到vcore数是1。我还从yarn资源管理器日志中看到vcore是1。运行的脚本flink run -c $application_class -m yarn-cluster -p 8 -yjm 1024m -ytm 3048m -ynm $applica.

也可以使用命令查看节点状态：[mmtrix@www hadoop-2.6.0-cdh5.4.1]$ bin/yarn node -list -all查看yarn的log发现2020-06-08 10:31:12,900 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /home/mmtrix/application/gosun/enterprise/hadoop...

问题1： Operation category READ is not supported in state standby初步判断是由于HA节点中处于standby状态造成的异常 原因： 原来nn1机器是active，nn2是standby, 现在nn1变成了standby。 （1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则

spark streaming写入hdfs场景： 需要将数据写入hdfs，打包成一个gz包， 每5分钟执行一次spark任务。最终的结果如下：5分钟跑一次spark， 将数据写入hdfs， 会产生很多的小文件。spark代码val hadoopConf: Configuration = rdd.context.hadoopConfigurationhadoopConf.set("ma...

目录snappy压缩：gz压缩snappy压缩： 介绍snappy 安装工具 编译hadoop（生产文件） 测试 使用版本：hadoop-2.6.0-cdh5.7.0centos 7java 1.7.0_80开始情况：开始安装2.安装工具：java 安装并配置PATHjava下载路径：https://ww...