SeoHyunChyL-优快云博客

原创 Apache Ranger中Yarn插件使用问题

使用ranger可以控制用户提交作业。在搭建yarn插件之后，建立新的service的时候，填写入‘YARN REST URL ’后，点击test connection，出现了问题，页面弹出框提示无法通过该url获得队列，查看ranger-admin运行日志也没有报错。翻看底层代码后发现，ranger在对yarn的支持上只支持了capacity调度，对fair调度没有支持。当将运行中的集

2017-08-29 15:52:52 2398 4

用eagle对集群的所有hive任务进行监控上线不久就下线了，在集群任务过多过密的情况下出现了很多问题，应该是0.4版本eagle本身的问题。1、之前文章中提到过的hostname的问题2、eagle会把运行任务的id记录到zookeeper上，每一个job创建一个节点挂在根节点下。因为集群任务数量过大，造成节点数太多，zookeeper的节点的子节点数超过限额之后会直接报错，任务也就直接失败。且对

2017-05-17 10:37:32 1436

原创 Apache Eagle上线问题解决

之前研究了一下apache eagle，并在测试环境进行了部署测试，这次整理一下正式上线出现的问题和解决办法。1、新增短信告警。原生的eagle的告警方式包括邮件、kafka以及系统中记录，我自己在源码中新加了发短信的功能，重新编译后使用。新增和修改的代码如下： (1)修改了NotificationConstnts.java文件，目录在源码包下的 apache-eagle-0.4.0

2017-04-24 13:32:09 1068

原创 Apache Eagle搭建测试

eagle服务器需提前安装npm。1、官网下载src包 http://eagle.apache.org/docs/download.html 2、编译，按照官网的操作。编译成功后，在eagle-assembly/target下找到 apache-eagle-0.4.0-incubating-bin.tar.gz 3、安装eagle 将第二步中获得的tar包拷贝到安装路径下解

2017-03-07 12:08:40 3807

原创 Hadoop集群集成kerberos

上周周会领导让研究kerberos，要在我们的大集群中使用，研究任务指派给了我。这周的话也是用测试集群大概的做了一遍。目前为止的研究还比较粗糙，网上众多资料都是CDH的集群，而我们的集群是不是用的CDH，所以在集成kerberos的过程中有一些不同之处。测试环境是由5台机器搭建的集群，hadoop版本是2.7.2。5台机器host分别是 rm1、rm2、test-nn1、test-nn2、10-1

2016-09-29 18:28:07 3586 3

原创 Hadoop RPC源码研究----客户端部分

针对之前的升级操作，研究了一下底层源码，主要是hadoop RPC相关的源码。当我们在命令行键入hdfs dfsadmin -rollingUpgrade query的时候，底层所执行的类是DFSAdmin类，可以在 hadoop-2.7.2/bin下的hdfs文件中查看该对应关系。 DFSAdmin中，有关升级操作在内部类RollingUpgradeCommand中。主要方法是定义在run方法中

2016-09-22 17:30:04 666

原创集群hadoop版本升级(2.6.4--2.7.2)

一、 Prepare Rolling Upgrade1、以hadoop用户登录nn2执行 "hdfs dfsadmin -rollingUpgrade prepare"![这里写图片描述](http://img.blog.youkuaiyun.com/20160922171402662)2、nn2上执行 "hdfs dfsadmin -rollingUpgrade query

2016-09-22 17:15:03 2528 3

原创 WebHdfs API使用和开放WebHdfs使用后权限控制

针对集群开放WebHdfs出现的安全隐患(用户可以通过API对集群数据进行任意操作) 需要进行权限控制。通过修改WebHdfs相关的源码来禁止不允许的集群操作行为。与WebHdfs有关的源码均在hadoop-hdfs-2.7.2.jar下。相应的包名均包含"webhdfs" 。主要需要进行修改的源码文件包括org.apache.hadoop.hdfs.web.WebHdfsFileSystem.class和org

2016-09-21 18:34:49 3873

SeoHyunChyL的博客