cloudera大数据平台搭建流程

最新推荐文章于 2025-07-02 23:31:58 发布

原创

最新推荐文章于 2025-07-02 23:31:58 发布 · 3.2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#cloudera manager

本文详细介绍了在Linux环境中搭建Cloudera大数据平台的步骤，包括基础环境配置、JDK安装、MySQL的卸载与安装、配置环境变量，以及Cloudera Manager(CM)和CDH的安装过程。在安装过程中，还涉及到数据库初始化、SSH免密登录、防火墙设置等关键环节，并解决了安装过程中遇到的JAVA_HOME、数据库驱动等问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基础环境

软件环境

NO	软件名称	版本
1	操作系统	centos7 64位
2	jdk	jdk-8u181-linux-x64.tar.gz
3	cloudera manager	cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
4	cdh	CDH-5.15.1-1.cdh5.15.1.p0.4-el7
5	数据库	mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
6	jdbc	mysql-connector-java-5.1.43.jar

配置规划

NO	机器名称	IP	配置	用途
1	master	10.2.47.1	16C/32G/500G	master，cm，mysqldb
2	slave1	10.2.47.2	16C/32G/500G	slave
3	slave2	10.2.47.3	16C/32G/500G	slave
4	slave3	10.2.47.4	16C/32G/500G	slave
5	slave4	10.2.47.5	16C/32G/500G	slave

软件资源
1. jdk
下载地址：jdk-8u181-linux-x64.tar.gz
1. CM
下载地址：cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
1. cdh包
下载地址：manifest.json

下载地址：CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1

下载地址：CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
1. jdbc连接jar包
下载地址：mysql-connector-java-5.1.43.jar

基础环境配置

jdk安装配置

卸载系统自带jdk

rpm -qa | grep java
[root@localhost ~]# rpm -qa | grep java
python-javapackages-3.4.1-5.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
tzdata-java-2014b-1.el7.noarch
javapackages-tools-3.4.1-5.el7.noarch
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
删除全部，noarch可不删除
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
[root@localhost ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

安装jdk

[root@localhost soft]# tar -zxvf jdk-8u181-linux-x64.tar.gz 
[root@localhost soft]# mv jdk1.8.0_181 jdk
配置环境变量
[root@localhost soft]# vim /etc/profile
export JAVA_HOME=/soft/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

安装mysql

安装前先卸载mariadb 
# rpm -qa | grep mariadb
# rpm -e -nodeps mariadb-libs-5.5.35-3.el7.x86_64
[root@localhost soft]#tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
按common–>libs–>client–>server->devel的顺序安装：
# rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
# rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm 
# rpm -ivh  mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm
启动数据库
# systemctl start mysqld 
查看状态： 
# systemctl status mysqld
修改mysql初始密码
1、先修改配置文件/etc/my.cnf令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：
skip-grant-tables
2、重启MySQL
#service mysqld restart
3、免密码登录MySQL。
#mysql
4、mysql客户端执行如下命令，修改root密码
mysql>  use mysql;
mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user = 'root';
mysql> select host,user, authentication_string, password_expired from user; 
mysql> update user set password_expired='N' where password_expired='Y' //密码不过期
mysql> update user set host='%' where user='root' and host='localhost'; //远程可访问
mysql> flush privileges; //刷新
mysql> exit;//退出
5、修改配置文件/etc/my.cnf删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)
#service mysqld restart //重启 Mysql
后期会出现 == 初始化数据库错误 ==：
在这个环节，出现的问题较多，但总的来说，是与数据库参数配置，和帐号权限配置有关。
如后面 在执行scm_prepare_database.sh脚本时，出现的错误：

java.sql.SQLException: Your password does not satisfy the current policy requirements

一般是