ambari部署Hadoop集群(1)

本例使用hortonworks 提供了 ambari 的安装方法,而且还很详细。以下是在 centos7 上的安装步骤。

基础配置:

1. 修改电脑的主机名

hostnamectl set-hostname xxx
或者vi /etc/hostname 修改

2. 编辑文件 /etc/sysconfig/network,添加下面的两行

NETWORKING=yes
HOSTNAME=xxx

3. 编辑文件 /etc/sysconfig/network-scripts/ifcfg-ens33 (ens33 是网卡的名字,实际可能有所不同),把 ONBOOT 的值改成 yes。重启系统。

4. 安装软件

yum -y install gcc gcc-c++ kernel-devel
yum -y install rpm-build
yum -y install net-tools

5. 设置最大打开文件数(至少 10000)。如果第一条命令显示的结果是大于10000的,则不用执行第二条。

ulimit -Sn
ulimit -n 10000

6. 设置时间同步

yum install -y ntp
systemctl enable ntpd
systemctl start ntpd
timedatectl set-timezone Asia/Shanghai

7. 暂停防火墙

systemctl disable firewalld
service firewalld stop

8. 禁用 SELinux。编辑 /etc/selinux/config ,设置下面的值

SELINUX=disabled
这里注意别改错了字段,改错了重启开不了机

9. 禁用 PackageKit。 编辑 /etc/yum/pluginconf.d/langpacks.conf,设置下面的值:

enabled=0

10. 各主机之间设置免密登陆。

ssh-keygen -t rsa
ssh-copy-id xxx

11. 确保 .ssh 和 authorized_keys 具有正确的权限控制

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

12. 使用 SSH 登陆一次其它主机。因为第一次需要输入密码。

ssh root@<remote.target.host>

13. 安装 JDK,并设置环境变量

export JAVA_HOME=/opt/programs/jdk1.8.0_171
export PATH=.:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

这里注意:如果不要将JAVA_HOME 放到/root 或者/home/<hostname>下,因为安装集群时会新建用户(没有root权限),新建的用户没有进入其他用户目录的权限。

 

另外,如果需要固定 IP的话,

1. 

cd /etc/sysconfig/network-scripts/

2. 修改相应的文件 

BOOTPROTO=static #静态
NETMASK=255.255.255.0 #掩码
IPADDR=192.168.43.96 #IP
ONBOOT=yes 
GATEWAY=196.168.43.2 #网管

  

转载于:https://www.cnblogs.com/MY0213/p/11262315.html

### Ambari 部署 Hadoop 集群并进行汉化的教程 #### 日志查看与环境准备 为了确保Ambari服务器端运行无误,需检查`/var/log/ambari-server/ambari-server.out`日志文件确认状态正常[^1]。 #### 节点配置同步 对于所有节点而言,在执行任何安装之前应当保持软件包列表的一致性。这可以通过复制已有的YUM仓库配置文件至各个目标机器实现: ```bash cd /etc/yum.repos.d/ scp HDP.repo libtirpc.repo ambari.repo clusterXX:$PWD ``` 其中`clusterXX`代表集群内的不同成员主机名或IP地址[^3]。 完成上述操作之后,建议在每台主机上刷新缓存以应用最新的库信息: ```bash yum clean all && yum makecache ``` #### 安装组件 针对每一个计算节点,利用批量管理工具如pssh来简化ambari-agent的部署过程可以极大提高效率: ```bash pssh -h /root/nodes.txt -i 'yum -y install ambari-agent' ``` 此命令会依据nodes.txt内定义的目标清单自动分发安装请求给各节点。 另外一种方式是在单个节点上直接使用如下指令单独处理agent部分的安装工作: ```bash yum install -y ambari-agent ``` 这种方式适用于小型规模或是初次尝试搭建场景下的手动干预需求[^2]。 #### 数据库设置 考虑到后续服务可能依赖于关系型数据库存储元数据等重要资料,提前准备好相应的SQL引擎也是必要的步骤之一。这里推荐采用MariaDB作为默认选项来进行初始化设定。 #### Web界面访问及汉化支持 当整个基础架构构建完毕后,可通过浏览器登录Ambari控制面板开始正式创建Hadoop集群流程。关于中文显示的支持情况,则需要额外关注官方文档中有关国际化方面的指导说明[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值