CentOS 6.7 上通过ambari 2.2.0 来安装 Hadoop 2.7.1.2.3

最新推荐文章于 2021-10-16 21:32:58 发布

原创最新推荐文章于 2021-10-16 21:32:58 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #centos #hadoop

Hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文档提供了详细的Apache Ambari安装步骤及常见问题解决办法，包括如何配置本地存储、调整Linux设置、运行测试程序、排查AppTimelineServer启动失败等，并介绍了如何将Ambari Metrics更改为分布式模式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文档

http://ambari.apache.org/
http://www.cnblogs.com/mephisto/p/4835386.html

注意几个地方：

1. 通过本地存储来安装是非常必要的

2. 需要关闭linux的transparent_hugepage,firewall,selinux

查看transparent_hugepage 状态
cat /sys/kernel/mm/transparent_hugepage/enabled
如果是always madvise [never] 说明关闭。如果是always 说明打开了

3. 主机名最好是 aba.testdomain.cn这种方式

4. 安装ambari的过程中，在注册好主机后，需要仔细查看警告。所有条件需要满足检测。

5. 使用官方的wordcount 程序来进行测试

先查找示例程序所在的jar文件

find / -name hadoop-mapreduce-examples

然后运行示例程序

hadoop jar /usr/hdp/2.3.0.0-2557/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.1.2.3.0.0-2557.jar wordcount /tmp/input/word_test.txt /tmp/output/1007_01

或者通过yarn来运行:

yarn jar /usr/hdp/2.3.0.0-2557/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.1.2.3.0.0-2557.jar wordcount /tmp/input/word_test.txt /tmp/output/1007_01

如果出现如下错误

Permission denied: user=root, access=WRITE, inode=”/user/root/.staging”:hdfs:hdfs:drwxr-xr-x

通过下面2个语句来增加root的home目录

[root@hd001 input]# hadoop fs -mkdir /user/root
[root@hd001 input]# hadoop fs -chown root:root /user/root

6.查看job的运行信息

http://192.168.1.151:19888/jobhistory
192.168.1.151 是指History Server

7. App Timeline Server 无法启动

进入App Timeline Server所在的服务器hd002.testcluster查看log

vim /var/log/hadoop-yarn/yarn/yarn-yarn-timelineserver-hd002.testcluster.log

发现错误 :

Class org.apache.hadoop.yarn.server.timeline.EntityGroupFSTimelineStore not found

解决方案:
https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.0.0/bk_ambari_troubleshooting/content/_resolving_general_problems.html
Update the YARN configuration to use the LevelDB store:

* In Ambari Web, browse to Services > YARN > Configs.
* Filter for the yarn.timeline-service.store-class property and set to org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore value.
* Save the configuration change and restart YARN.