大数据平台HDP3.1 安装及常见问题处理

最新推荐文章于 2025-03-03 21:13:23 发布

原创

最新推荐文章于 2025-03-03 21:13:23 发布 · 587 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop

本文详细介绍了HDP3.1大数据平台的安装过程，包括环境配置、SSH免密登录、本地源制作、Mysql数据库安装以及Ambari的安装和配置。同时，文中还列举并解决了在安装过程中遇到的问题，如添加节点错误、Hive数据库连接、Datanode坏块等，提供了解决方案和命令操作。

一、安装部署

环境准备：

IP	组件
10.1.11.31	ambari-server 节点，agent,db
10.1.11.32	agent, namenode
10.1.11.33	agent, namenode
10.1.11.34	agent,datanode
10.1.11.35	agent,datanode
10.1.11.36	agent,datanode

1. 初始配置

六台机器安装系统，配置ip，配置hostname ,hosts。
#关闭防火墙，禁用selinux，安装jdk
# yum install chrony 配置时间同步至ntp服务器。
# yum install mysql-connector-odbc mysql-connector-java
# yum install wget vim gcc -y

2.配置SSH免密码登录

主节点31,root用户登录执行如下步骤。
#ssh-keygen
# ssh-copy-id -p 38199 -i /root/.ssh/id_rsa.pub root@10.1.11.32
# ssh-copy-id -p 38199 -i /root/.ssh/id_rsa.pub root@10.1.11.33
#ssh-copy-id -p 38199 -i /root/.ssh/id_rsa.pub root@10.1.11.34
#ssh-copy-id -p 38199 -i /root/.ssh/id_rsa.pub root@10.1.11.35
#ssh-copy-id -p 38199 -i /root/.ssh/id_rsa.pub root@10.1.11.36

3. 主节点操作
添加ambari安装、运行用户和用户组，也可以不创建新用户，直接使用root，我是直接用的root
[root@SY-001 ~]# adduser ambari
[root@SY-001 ~]# passwd ambari
3.1制作本地源
安装HTTP 服务器，允许 http 服务通过防火墙(永久)
[root@SY-001 ~]# yum install httpd
添加 Apache 服务到系统层使其随系统自动启动
[root@SY-001 ~]# systemctl start httpd.service
[root@SY-001 ~]# systemctl enable httpd.service
3.1.2 安装本地源制作相关工具
[root@SY-001 ~]# yum install yum-utils createrepo
3.2 下载安装资源
Ambari 2.7.3 下载资源
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz
HDP 3.1.0 下载资源
http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/HDP-3.1.0.0-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz<