在阿里云ECS 上安装 CDH6.2 standalong

最新推荐文章于 2024-04-21 18:26:03 发布

High-Availability

最新推荐文章于 2024-04-21 18:26:03 发布

阅读量1.4k

点赞数

文章标签：阿里云大数据 linux hadoop 云计算

本文链接：https://blog.youkuaiyun.com/weixin_38173265/article/details/122367242

版权

本文详细介绍了如何在阿里云ECS上安装CDH6.2 standalone环境，包括系统环境准备、安装JDK、MySQL，配置Cloudera Manager，并提供了解决安装过程中可能遇到的问题的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在阿里云ECS 上安装 CDH6.2

0. pre Install

0.1 ECS 配置
基本配置至少 4核 16GB，比较烧内存

8核 + 64GB 100GB SSD 5M 宽带

操作系统看 CDH 官网支持，推荐 RHEL6, RHEL7, CentOs7，总之不推荐 Ali Linux 或者 Amazon Linux

centos7.7

安全组

保证本地可以连接 7180, 22 端口

密钥，win系统需要再转换为 pub

xxx.pem密钥
xxx.pem.pub 密钥

CDH 6.2

下载路径
公众号【大数据1024】输入 CDH
文件在 2.1 里面列出来了

配置的软件

SecureCRT
FileZilla

1. 系统环境准备

1.1 设置 ssh 生存时间
避免远程连接时一会不操作就断开连接

vi /etc/ssh/sshd_config
	ClientAliveInterval 30
	ClientAliveCountMax 1800

1.2 设置时区

timedatectl set-timezone Asia/Shanghai

1.3 设置主机名

vi /etc/hostname
	Stock-DMP
source /etc/profile

1.4 安装基础包

yum -y install wget
yum -y install lrzsz					# SecureCRT 上传下载小文件利器
yum -y install zip unzip
yum -y install vim

1.5 关闭防火墙
阿里云防火墙默认是关闭的

systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

1.6 关闭 SELINUX
阿里云 SELINUX 默认是关闭的

vim /etc/selinux/config
	SELINUX=disabled

1.7 修改 Linux swapping 和虚拟内存
我的机器默认 vm.swappiness = 0
swappiness = 0 表示最大限度使用物理内存，然后才是 swap 空间。有兴趣自行搜索调整到合适参数。

vi /etc/sysctl.conf
	vm.swappiness = 0
	vm.max_map_count=655360
sysctl -p

1.8 禁用 THP (Transparent HugePages)

对于数据库应用，不推荐使用 THP。主要的原因是这类数据库大部分访问内存的方式是分散的，并不是访问连续的页面，而这样的访问模式,就会造成内存的碎片化。

# 查看 THP 状态, Always 表示启用
[root@Stock-DMP soft]# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
# 禁用 THP 并添加到配置文件
[root@Stock-DMP soft]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@Stock-DMP soft]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@Stock-DMP soft]# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
[root@Stock-DMP soft]# echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
[root@Stock-DMP soft]# chmod +x /etc/rc.d/rc.local
# 查看 THP 状态, Never 表示禁用
[root@Stock-DMP soft]# cat /etc/rc.d/rc.local
always madvise [never]

1.9 重启服务器

reboot -h

2. 安装环境

2.1 通过 FileZilla 上传需要的文件
文件大致如下

mkdir -p /soft
[root@Stock-DMP CDH6.2]# ll
total 2754532
-rw-r--r-- 1 root root 2093332003 Jan  7 16:48 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel
drwxr-xr-x 2 root root       4096 Jan  7 16:47 cloudera-repos
-rw-r--r-- 1 root root      95840 Jan  7 16:33 createrepo-0.9.9-28.el7.noarch.rpm
-rw-r--r-- 1 root root  541163520 Jan  7 16:37 mysql-5.7.31-1.el7.x86_64.rpm-bundle.tar
-rw-r--r-- 1 root root    1007502 Jan  7 16:37 mysql-connector-java-5.1.47.jar
-rw-r--r-- 1 root root  184988341 Jan  7 16:38 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
-rw-r--r-- 1 root root      32084 Jan  7 16:38 python-deltarpm-3.6-3.el7.x86_64.rpm
[root@Stock-DMP CDH6.2]# ll cloudera-repos/
total 1181628
-rw-r--r-- 1 root root      14041 Jan  7 16:38 allkeys.asc
-rw-r--r-- 1 root root   10215608 Jan  7 16:38 cloudera-manager-agent-6.2.1-1426065.el7.x86_64.rpm
-rw-r--r-- 1 root root 1199718256 Jan  7 16:47 cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm
-rw-r--r-- 1 root root       9988 Jan  7 16:47 cloudera-manager-server-6.2.1-1426065.el7.x86_64.rpm
-rw-r--r--