
hadoop
文章平均质量分 50
PenPenApple
这个作者很懒,什么都没留下…
展开
-
安装ganglia及监控haoop
ganglia的web功能需要php的支持 192.168.78.129 master 192.168.78.130 slave1在下master安装安装httpd和php# yum -y install httpd php php-ZendFramework php-gd rrdtool php-xml 安装ganglia# rpm -ivh ganglia-3.7.2-2.el7.x86_6原创 2016-08-10 17:33:16 · 499 阅读 · 0 评论 -
修复hadoop集群时间与系统时间不一致问题
重启了hadoop集群主机之后,hadoop集群log中的时间一直不是系统时间,不知是装系统时的遗留问题(安装系统时区没有更改过)还是怎么。通过浏览http://hadoop:60010/jmx可看到user.timezone(时区)的value值是/America/New_York,并不是我们当前系统的时区。目前我的解决方法是添加hadoop、yarn和hbase的env的配置文件内容,分别如下:原创 2017-01-12 13:55:06 · 9893 阅读 · 0 评论 -
hbase 安全管理(kerberos)配置完成启动方式
如若启动方式采用如下形式:# start-hbase.sh发现master和region都起来了,但master中日志中一直打印如下日志:2017-03-13 17:00:39,368 INFO [d721:60000.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; cur原创 2017-03-14 11:46:41 · 4307 阅读 · 0 评论 -
在hadoop2.X集群中安装压缩工具snappy(主要用于hbase)
在hadoop集群中snappy是一种比较好的压缩工具,相对gzip压缩速度和解压速度有很大的优势,而且相对节省cpu资源,但压缩率不及gzip。在此不讨论孰优孰劣,各有各的用途。 在此,hadoop集群采用的版本是hadoop-2.6.0-cdh5.9.0,系统是centos7.2。安装前提:java 7(使用java 8会报一个错误)java安装并配置PATH# rpm -ivh jdk-7u原创 2017-02-25 00:38:01 · 7103 阅读 · 7 评论