trnanan的博客

使用java访问HDFS特别是HDFS没有开启ACLS的情况下，如果未正确指定用户，HDFS会使用当前用户进行访问，如果当前用户是administrator、root等用户可能对HDFS没有访问权限，此时我们能够想到的有以下几种解决方案1.将hdfs目录权限改为当前用户2.使用hdfs上面的用户启动程序3.在程序里面指定，其中XXXXXXX代表有权限的用户名System.setProperty("HADOOP_USER_NAME","xxxxxxxx");当然我们是推崇第三种方法的，但

我们在开发中可能会遇到获取yarn上应用占用的资源的实施情况首先，我们感谢一下作者weixin_30828379的讲解，原文如下weixin_30828379-【原创】大叔经验分享（21）yarn中查看每个应用实时占用的内存和cpu资源但是大佬讲解的方式是使用url获取，实际中我们大多数使用的都是调用方法，并且在ha集群下使用配置文件读取就比较麻烦，所以宗旨就是找到Applicatio...

目录目录一、序言二、环境准备2.1 docker环境准备2.2 安装zookeeper、kafka、kafka-manager环境2.2.1 zookeeper2.2.2 kafka2.2.3 kafka-manager2.3 安装flume2.4 安装flink三、程序开发3.1.程序生成日志到flume3.2程序获取kafka中的数据fl...