SeoHyunChyL的博客

一、 Prepare Rolling Upgrade1、以hadoop用户登录nn2执行 "hdfs dfsadmin -rollingUpgrade prepare"2、nn2上执行 "hdfs dfsadmin -rollingUpgrade query

针对集群开放WebHdfs出现的安全隐患(用户可以通过API对集群数据进行任意操作) 需要进行权限控制。通过修改WebHdfs相关的源码来禁止不允许的集群操作行为。与WebHdfs有关的源码均在hadoop-hdfs-2.7.2.jar下。相应的包名均包含"webhdfs" 。主要需要进行修改的源码文件包括org.apache.hadoop.hdfs.web.WebHdfsFileSystem.class和org

之前研究了一下apache eagle，并在测试环境进行了部署测试，这次整理一下正式上线出现的问题和解决办法。1、新增短信告警。 原生的eagle的告警方式包括邮件、kafka以及系统中记录，我自己在源码中新加了发短信的功能，重新编译后使用。新增和修改的代码如下： (1)修改了NotificationConstnts.java文件，目录在源码包下的 apache-eagle-0.4.0

eagle服务器需提前安装npm。1、官网下载src包 http://eagle.apache.org/docs/download.html 2、编译，按照官网的操作。 编译成功后，在eagle-assembly/target下找到 apache-eagle-0.4.0-incubating-bin.tar.gz 3、安装eagle 将第二步中获得的tar包拷贝到安装路径下解

用eagle对集群的所有hive任务进行监控上线不久就下线了，在集群任务过多过密的情况下出现了很多问题，应该是0.4版本eagle本身的问题。1、之前文章中提到过的hostname的问题2、eagle会把运行任务的id记录到zookeeper上，每一个job创建一个节点挂在根节点下。因为集群任务数量过大，造成节点数太多，zookeeper的节点的子节点数超过限额之后会直接报错，任务也就直接失败。且对

上周周会领导让研究kerberos，要在我们的大集群中使用，研究任务指派给了我。这周的话也是用测试集群大概的做了一遍。目前为止的研究还比较粗糙，网上众多资料都是CDH的集群，而我们的集群是不是用的CDH，所以在集成kerberos的过程中有一些不同之处。测试环境是由5台机器搭建的集群，hadoop版本是2.7.2。5台机器host分别是 rm1、rm2、test-nn1、test-nn2、10-1