使用 Ambari 安装 Hadoop 集群

最新推荐文章于 2025-10-13 10:21:08 发布
原创 最新推荐文章于 2025-10-13 10:21:08 发布 · 3.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了如何在Ubuntu 14.04环境下使用Ambari 2.5.0安装Hadoop集群。内容涵盖环境配置、免密登录设置、Ambari源添加、HDP与HDP-UTILS的下载和安装，以及Ambari-server的初始化。通过此指南，读者可以掌握单机或多节点集群的搭建步骤。

一.环境: 

  1.Ubuntu 14.04 

  2.Ambari 2.5.0

  3.JDK1.8

  4.HDP2.4.3

  5.HDP-UTIL1.1.0.20

二:说明:

  1.使用 root 用户

  2.如果仅用作 demo 使用,不建议单机开多台 vm,除非你的机器内存大于32G,使用单台vm执行以下步骤即可.

  3.如果有多台机器可做集群,则给不同的机器设置不同的域名即可,如 [ ubuntu0.com, ubuntu1.com, ubuntu2.com ]

  4.默认你已熟悉 linux命令,shell命令.

三:步骤:

  1.使用国内镜像,下载 ambari-server (https://mirrors.tuna.tsinghua.edu.cn/apache/ambari/),并解压,然后在该目录执行"python -m SimpleHTTPServer",启动http服务,让文件可在局域网访问.

  2.(Optional) 修改 hostname:

    2.1.vim /etc/hosts # 加入集群的所有机器的域名. 也可以在DNS服务器上修改.

    2.2.export hostNameStr="ubuntu"

    2.3.echo $hostNameStr > /etc/hostname

    2.4.hostname $hostNameStr

  3.配置所有机器

最低0.47元/天 解锁文章
精选资源
Ambari部署Hadoop集群.doc
06-22
在使用Ambari部署Hadoop集群时，Ambari会引导用户完成各个组件的配置，包括网络设置、安全选项、存储布局等。通过Ambari，用户可以灵活地调整集群配置，满足不同业务需求。集群搭建完成后，Ambari将继续提供实时监控...
Ambari2.1.0安装配置(hadoop yarn spark集群安装配置) .pdf
04-02
Ambari2.1.0安装配置(hadoop yarn spark集群安装配置)
使用Ambari搭建Hadoop集群
08-20
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
使用Ambari在线安装Hadoop集群
如果能思维清晰，从上往下，不断深入，就好了~~~
11-30 406
Ambari在线安装 1.创建虚拟机：导入镜像文件、以光盘启动      本人自己使用3台虚拟机搭建小集群 2.关机：修改启动项 -> 硬盘启动、桥接模式 3.重启之后：ifconfig、测试网络连通性 ping www.baidu.com             service sshd start             chkconfig sshd on 4.xshell操...
【史上最全】Ambari 大数据集群运维与管理操作指南，零基础入门到精通，收藏这篇就够了
Javachichi的博客
10-13 564
如果不想 Ambari 管理主机到机架信息，可以使用自定义到拓扑脚本。要做到这一点，必须创建自己的拓扑脚本管理分布脚本到所有主机。注意，也因为Ambari 不能访问到主机机架信息，Ambari Web 中的 heatmaps 不能显示机架。使用自定义脚本设置 Rack ID:步骤：① 浏览到 Services > HDFS > Configs② 修改 net.topology.script.file.name 为自己的自定义拓扑脚本如，/etc/hadoop/conf/topology.sh。
使用Ambari安装Hadoop集群
zaizai116561的博客
07-28 770
声明：此次安装使用版本为Linux6.6，ambari文件ambari-1.7.0-centos6.tar.gz，HDP文件HDP-2.2.0.0-centos6-rpm.tar.gz，HDP-UTILS文件HDP-UTILS-1.1.0.20-centos6.tar.gz 关于Hadoop的一些组件需要用到的传统型数据库：MySQL,Derby，PostgerSQL。在Ambari安装过程中会
使用ambari安装Hadoop集群
九万里
07-09 5034
一、环境准备 1.操作系统检查 操作系统版本检查 cat /etc/redhat-release 操作系统默认语言检查 echo $LANG echo 'export LANG=en_US.UTF-8' >> ~/.bashrc 操作系统时区设置 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 时钟同步 4.1 安装ntp服务： rpm –qa|grep ntp yum install ntp systemctl is
ambari部署 hadoop 集群
Davina_yu的博客
12-20 719
【代码】ambari部署 hadoop 集群。
Ambari搭建Hadoop集群 — — 问题总结
SoyMilk的博客
10-06 1995
参考硬盘：master（29 GB）、slave1（29 GB）、slave2(29 GB)内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）处理器：master（1个处理器，4个内核）、slave1（1个处理器，2个内核）、slave2（1个处理器、2个内核）推荐配置硬盘：master（30 GB）、slave1（25 GB）、slave2(25 GB)内存：master（4 GB）、slave1（2 GB）、slave2（2 GB）
基于Ambari的Hadoop集群的搭建（上）
m0_74973672的博客
12-27 2094
安装并利用Ambari搭建Hadoop集群（上）
通过ambari安装hadoop集群（二）
weixin_34380781的博客
09-01 137
开始安装，输入主机名字，然后选择私钥   注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31，然后点击确认，它会出一个警告提示，别管他就行。 等待安装完毕之后，就会出现成功的提示，下面出现黄字的，查看一下warning，除了有mysql账户的问题之外，别的都要处理掉，否则安装过程会出问题的。搞定了，要再检查一遍！ 关闭它，然后进入下一步。 ...
hadoop集群监控工具ambari安装
热门推荐
东杰书屋
08-22 1万+
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apa
ambari安装以及基于ambari的hadoop集群搭建
qzlzwhx的专栏
06-13 1219
Ambari安装文档 英文安装文档： https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Public+Repositories
ambari安装hadoop
weixin_34161083的博客
09-29 189
前言 hadoop除了社区版之外，还有两个主流的分支，一个是cdh版本，一个是hdp版本，其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonworks.com/ ambari版块，找到installation ip role os java 10.110.92.148 ambari-master centos-7.2 1.8 ...
hadoop环境搭建之安装Ambari
journey in java
12-06 2378
安装Ambari
想学大数据不会搭建集群？别慌，基于ambari一键安装Hadoop集群
码农超哥的博客
01-09 514
随着大数据的日益普及，很多人对大数据越来越感兴趣，有些程序开发者也跃跃欲试，但是苦于不会搭建hadoop集群环境，而常常被拦在大数据的门槛之外。本文以图文并茂的方式，旨在说明如何在自己的...
Hadoop建设工具Ambari的安装部署及完整使用（一）——介绍
BalaBalaYi的博客
03-22 1670
一.Ambari介绍（请详见百度百科等链接） Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Ambari 跟 Hadoop 等开源软件一样，也是 Apache Softwar
使用Ambari管理Hadoop集群
最新发布
11-14
<think> 我们之前已经介绍了Ambari的安装步骤，现在用户询问的是使用Ambari管理Hadoop集群的方法和指南。根据引用[1]和[2]，我们知道Ambari极大地简化了Hadoop集群的管理，通过Web UI提供向导式操作。下面我们将详细说明如何使用Ambari管理Hadoop集群。 ### 1. 启动Ambari Web UI 安装并配置好Ambari Server后，启动服务： ```bash sudo ambari-server start ``` 然后通过浏览器访问Ambari Web UI，地址为：`http://<ambari-server-host>:8080`，默认用户名和密码为`admin/admin`。 ### 2. 创建Hadoop集群 在Ambari Web UI中，可以按照向导创建集群： 1. **设置集群名称**：输入自定义的集群名称。 2. **选择堆栈版本**：选择要安装的Hadoop生态组件的版本（如HDP 3.1.0）。 3. **指定主机**：添加集群中所有主机的FQDN或IP地址（包括Ambari Server所在主机）。 4. **提供SSH私钥**：上传用于无密码登录集群节点的SSH私钥文件。 5. **确认主机**：Ambari会检查主机并显示清单。 6. **选择要安装的服务**：勾选需要的组件（如HDFS, YARN, MapReduce2, Zookeeper等）。 7. **分配主节点和从节点**：将服务组件分配到特定主机（例如NameNode和ResourceManager通常分配在不同主机以实现高可用）。 8. **配置服务**：根据需求调整各服务的配置（如HDFS的副本数、YARN的资源设置等），也可以使用默认配置。 9. **开始安装**：Ambari会自动下载、安装、配置并启动所选服务。 ### 3. 管理集群服务 安装完成后，在Ambari Dashboard中： - **启动/停止/重启服务**：可以操作整个集群或单个服务。 - **添加服务**：在“服务”标签页中点击“添加服务”，选择新服务（如Hive、Spark等）并按照向导安装。 - **配置服务**：在“服务”页签下选择具体服务，点击“配置”标签修改配置，保存后需要重启相关服务生效。 - **服务告警与监控**：Dashboard展示各服务状态、资源使用情况（CPU、内存、磁盘等）及告警。 ### 4. 集群监控与告警 Ambari内置了丰富的监控功能： - **度量指标**：查看HDFS存储使用率、YARN容器使用情况等。 - **告警设置**：在“管理”>“告警”中配置告警阈值和通知方式（如邮件）。 - **日志管理**：通过“日志”标签页查看各节点日志，支持关键字搜索（引用[3]提到Ambari使用Log4j管理日志）。 ### 5. 扩展集群 - **添加新节点**： 1. 在“主机”标签页点击“添加新主机”。 2. 输入新主机信息并确认。 3. 选择要安装的服务（如DataNode、NodeManager）。 4. 部署后，新节点自动加入集群。 ### 6. 维护与升级 - **滚动重启**：在维护期间可对服务进行滚动重启，减少影响。 - **堆栈升级**：Ambari支持升级HDP/HDF版本，需在“堆栈和版本”中操作。 ### 7. 故障排查 - **服务状态异常**：检查相关日志（如NameNode日志）。 - **资源不足**：调整YARN内存配置（参考引用[4]中mapred-site.xml配置）或增加节点。 - **Web UI无法访问**：检查Ambari Server进程状态、防火墙设置（端口8080需开放）及网络连通性。 ### 示例：通过Ambari修改HDFS副本数 1. 在Ambari Web UI中进入HDFS服务。 2. 点击“配置”标签，搜索`dfs.replication`。 3. 将值从默认的3改为2（适用于小型集群）。 4. 保存并重启HDFS服务。 > **注意**：配置修改后必须重启服务才能生效。 通过Ambari管理Hadoop集群，管理员无需手动编辑每个节点的配置文件（如core-site.xml、hdfs-site.xml），大幅提升运维效率[^1][^2]。 §§相关问题§§ 1. 如何通过Ambari添加Hive服务到现有集群？ 2. Ambari如何实现Hadoop集群的高可用（HA）配置？ 3. 在Ambari中如何监控YARN的资源使用情况？ 4. Ambari告警邮件通知如何配置？ </think>以下是使用 Ambari 管理 Hadoop 集群的详细指南，结合核心功能和最佳实践： ### 一、Ambari 核心管理功能 1. **集群部署** - 向导式安装：通过 Web UI 引导完成 Hadoop 组件部署（HDFS/YARN/Hive 等） - 自动配置：生成 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml` 等配置文件（参考引用[4]） - 可视化主机分配：拖拽式分配 NameNode/DataNode/ResourceManager 等角色 2. **服务管理** ```bash # 通过 Ambari CLI 管理服务（示例） ambari-server restart|stop|start <service-name> # 如 HDFS/YARN ``` - 支持滚动重启（减少服务中断） - 组件依赖自动检测（如停止 Hive 前自动暂停依赖服务） 3. **配置管理** - 版本化配置：保存/回滚配置文件历史版本 - 配置继承：集群级 → 主机组级 → 主机级配置覆盖 - 配置文件热更新（部分组件无需重启） 4. **监控告警** - 实时仪表盘：HDFS 存储量/YARN 容器使用率等 - 500+ 内置指标（CPU/内存/磁盘/网络） - 自定义告警阈值（邮件/SNMP 通知） ### 二、操作指南（Web UI） 1. **集群初始化** ```mermaid graph TD A[登录 Ambari Web] --> B[创建集群] B --> C[选择HDP版本] C --> D[注册主机] D --> E[分配服务角色] E --> F[自动部署] ``` 2. **添加新服务（如 Spark）** - 步骤： 1. `服务 → 添加服务` 2. 选择 Spark 并分配角色 3. 自动解决依赖（如 HDFS 配置集成） 4. 一键部署和启动 3. **配置调优示例** - 修改 YARN 容器内存： 1. 进入 YARN 服务配置页 2. 搜索 `yarn.scheduler.maximum-allocation-mb` 3. 根据节点内存调整值（如 10G 节点设为 8192） 4. 保存并滚动重启 ### 三、运维最佳实践 1. **日志管理** - 集中查看：`运维 → 日志搜索` - 动态调整日志级别（参考引用[3]的 Log4j 配置） ```xml <!-- 示例：调整 HDFS NameNode 日志级别 --> <logger name="org.apache.hadoop.hdfs" level="DEBUG"/> ``` 2. **扩展集群** - 添加 DataNode： 1. `主机 → 添加新主机` 2. 安装 Ambari Agent 3. 分配到 DataNode 主机组 4. 自动同步配置并启动服务 3. **备份恢复** ```bash # 备份 Ambari 元数据库 mysqldump -u ambari -p ambari > ambari_backup.sql ``` ### 四、故障处理技巧 1. **服务异常检测** - 红色告警项自动定位故障组件 - 使用 `运维 → 服务检查` 快速诊断 2. **常见问题解决** - Web UI 无法访问： - 检查防火墙：`sudo firewall-cmd --list-ports | grep 8080` - 验证服务状态：`ambari-server status` > **提示**：Ambari 通过自动化部署和统一管理，比传统 Hadoop 手动部署效率提升 60% 以上（引用[1][2]）
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值