<think>我们正在
阿里云2核4G服务器上搭建伪分布式CDH 6.3.
2环境。由于资源有限，需要特别注意资源配置优化。以下是详细步骤：
### 一、环境准备
1. **服务器规格**
-
阿里云ECS实例：
2 vCPU,
4 GiB内存
- 操作系统：**CentOS 7.9**（最小化安装）[^3]
- 磁盘：
40GB系统盘 + 100GB数据盘（挂载至`/data`）
2. **基础配置**
```bash
# 关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
# 禁用SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
setenforce 0
# 配置主机名解析
echo "1
27.0.0.1 hadoop01" >> /etc/hosts
hostnamectl set-hostname hadoop01
```
3. **磁盘格式化**
```bash
# 格式化数据盘（假设为/dev/vdb）
mkfs.xfs /dev/vdb
mkdir -p /data/{dfs,nn,dn,yarn}
mount /dev/vdb /data
echo "/dev/vdb /data xfs defaults 0 0" >> /etc/fstab
```
---
### 二、安装CDH 6.3.
2
1. **下载Parcel**
```bash
mkdir -p /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo
# 下载主Parcel（CentOS 7）
wget https://archive.cloudera.com/cdh6/6.3.
2/parcels/CDH-6.3.
2-1.cdh6.3.
2.p0.160555
4-el7.parcel
wget https://archive.cloudera.com/cdh6/6.3.
2/parcels/CDH-6.3.
2-1.cdh6.3.
2.p0.160555
4-el7.parcel.sha1
mv CDH-6.3.
2-1.cdh6.3.
2.p0.160555
4-el7.parcel.sha1 CDH-6.3.
2-1.cdh6.3.
2.p0.160555
4-el7.parcel.sha # 重命名
# 下载manifest.json
wget https://archive.cloudera.com/cdh6/6.3.
2/parcels/manifest.json
```
2. **安装Cloudera Manager（简化版）**
由于资源限制，我们使用Cloudera Manager的**单节点嵌入式模式**：
```bash
wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_6
4/cloudera-manager-daemons-6.3.1-1
466
458.el7.x86_6
4.rpm
wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_6
4/cloudera-manager-agent-6.3.1-1
466
458.el7.x86_6
4.rpm
wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_6
4/cloudera-manager-server-6.3.1-1
466
458.el7.x86_6
4.rpm
# 安装依赖
yum install -y java-1.8.0-openjdk-devel mysql-connector-java
# 安装RPM包
rpm -ivh cloudera-manager-daemons-6.3.1*.rpm
rpm -ivh cloudera-manager-agent-6.3.1*.rpm
rpm -ivh cloudera-manager-server-6.3.1*.rpm
```
---
### 三、配置伪分布式集群
1. **内存优化配置（关键！）**
在
2核4G环境下，需严格限制内存使用：
| 服务 | 最大堆内存 | 配置路径 |
|------------|------------|------------------------------|
| **NameNode** | 51
2 MB | HDFS配置 → Java堆栈大小 |
| **DataNode** |
256 MB | DataNode高级配置 |
| **NodeManager** | 38
4 MB | YARN配置 → 容器内存 |
| **ResourceManager** | 38
4 MB | ResourceManager高级配置 |
> **注意**：剩余内存留给操作系统和Cloudera Manager进程
2. **HDFS配置**
- NameNode数据目录：`/data/nn`
- DataNode数据目录：`/data/dn`
```xml
<!-- hdfs-site.xml -->
<property>
<name>dfs.replication</name>
<value>1</value> <!-- 伪分布式设为1 -->
</property>
```
3. **YARN配置**
```xml
<!-- yarn-site.xml -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>10
24</value> <!-- 总可用内存1GB -->
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>
256</value> <!-- 最小容器内存
256MB -->
</property>
```
---
### 四、启动集群
1. **初始化数据库（嵌入式PostgreSQL）**
```bash
/opt/cloudera/cm/schema/scm_prepare_database.sh postgresql scm scm scm_password
```
2. **启动Cloudera Manager**
```bash
systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent
```
3. **通过Web UI部署**
访问 `http://<
阿里云公网IP>:7180`，按向导操作：
- 选择 **"Parcel"** → 本地存储库路径：`file:///opt/cloudera/parcel-repo`
- 集群模板选择：**"单节点伪分布式"**
- 应用步骤三的优化配置
---
### 五、验证安装
1. **检查服务状态**
```bash
# 所有服务应显示正常
hdfs dfsadmin -report
yarn node -list
```
2. **运行测试任务**
```bash
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-*.jar pi
2 10
```
> **资源不足时的应急方案**：
> 若内存溢出，可临时添加1GB交换空间：
> ```bash
> dd if=/dev/zero of=/swapfile bs=1M count=10
24
> mkswap /swapfile && swapon /swapfile
> ```
---
### 相关问题
1. 如何调整HDFS的块大小以适应小规模环境？
2. 伪分布式模式下如何启用Hive？
3. 如何监控CDH 6.3.
2的资源使用情况？
4.
阿里云安全组需要开放哪些端口？
5. 如何备份伪分布式集群的
元数据？
[^1]: How To Install Apache Hadoop Pseudo Distributed Mode
[^
2]: CDH 6.
2.1版本验证示例
[^3]: CDH5.1
4配置分发操作
[^
4]: CDH5.15单机安装路径
[^5]: DolphinScheduler下载地址</think>###
阿里云2核4G服务器搭建伪分布式CDH 6.3.
2指南
由于资源有限（
2核4G），需精简配置。以下是关键步骤：
---
### 一、环境准备（关键优化）
1. **操作系统配置**
```bash
# 关闭防火墙和SELinux
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
# 配置主机名解析（伪分布式需映射到1
27.0.0.1）
echo "1
27.0.0.1 hadoop01" >> /etc/hosts
hostnamectl set-hostname hadoop01
```
2. **资源限制调整**（防止OOM）
```bash
# 增大最大进程数和文件描述符限制
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
```
3. **磁盘优化**
```bash
# 为HDFS单独挂载高性能云盘（推荐ESSD）
mkfs.xfs /dev/vdb # 假设vdb是新数据盘
mkdir /data
mount /dev/vdb /data
```
---
### 二、CDH 6.3.
2安装流程
1. **下载必要组件**
```bash
# CDH Parcel（
核心组件）
wget https://archive.cloudera.com/cdh6/6.3.
2/parcels/CDH-6.3.
2-1.cdh6.3.
2.p0.160555
4-el7.parcel
# Cloudera Manager（管理工具）
wget https://archive.cloudera.com/cm6/6.3.1/cloudera-manager-agent-6.3.1-1
466
458.el7.x86_6
4.rpm
```
2. **Java环境配置**
```bash
yum install -y java-1.8.0-openjdk-devel
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0" >> /etc/profile
```
3. **安装Cloudera Manager**
```bash
# 安装嵌入式PostgreSQL（轻量级数据库）
yum install -y postgresql-server
postgresql-setup initdb
# 安装CM Agent
rpm -ivh cloudera-manager-agent-*.rpm
```
---
### 三、伪分布式关键配置
1. **HDFS配置** (`hdfs-site.xml`)
```xml
<configuration>
<!-- 单节点复用本地目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/datanode</value>
</property>
<!-- 关闭副本冗余 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
2. **YARN配置** (`yarn-site.xml`)
```xml
<configuration>
<!-- 严格控制内存使用 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>307
2</value> <!-- 保留1GB给系统 -->
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>51
2</value> <!-- 最小容器内存 -->
</property>
</configuration>
```
3. **MapReduce配置** (`mapred-site.xml`)
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 限制Map任务内存 -->
<property>
<name>mapreduce.map.memory.mb</name>
<value>51
2</value>
</property>
</configuration>
```
---
### 四、启动与验证
1. **格式化HDFS**
```bash
hdfs namenode -format
```
2. **启动所有服务**
```bash
# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh
```
3. **资源验证**
```bash
# 检查节点状态
hdfs dfsadmin -report
# 运行测试任务
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi
2 10
```
---
### 五、资源节省技巧
1. **禁用非必要服务**
```bash
# 在Cloudera Manager中关闭：
- HBase
- Impala
- Oozie
```
2. **配置Linux SWAP**（防OOM）
```bash
# 添加
2GB交换空间
dd if=/dev/zero of=/swapfile bs=1M count=
20
48
mkswap /swapfile
swapon /swapfile
```
---
### 相关问题
1. 如何监控CDH 6.3.
2的资源使用情况？
2. 伪分布式环境下如何调试YARN任务失败？
3. CDH 6.3.
2与Apache Hadoop 3.x的兼容性差异？
4. 如何为CDH 6.3.
2配置TLS/SSL加密？
5. 小内存环境下Hive的最佳配置参数是什么？
> **注意**：
2核4G环境仅适合开发测试，生产环境需至少8GB内存[^
2][^
4]。若安装失败，检查`/var/log/cloudera-manager-installer`日志定位问题。
[^1]: 伪分布式安装参考
[^
2]: CDH 6.
2.1版本验证
[^3]: 配置文件分发示例
[^
4]: CDH单机部署路径
本文详细介绍如何购买阿里云2核4G配置、三年仅1650元的ECS服务器。通过特定步骤与链接指导用户找到并选购这一优惠产品。
扫一扫
937
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
