搭建大数据完全分布式平台通常涉及多个组件，以常见的
Hadoop 和 Spark 为例，下面介绍
搭建方法。
### 前期准备
- **节点规划**：确定集群中各个节点的角色，如 NameNode、DataNode、ResourceManager、NodeManager 等。通常需要 3 个或以上节点以实现高可用性和容错性。
- **系统安装**：在所有节点上安装相同版本的 Linux 操作系统，如 CentOS 7。
- **网络配置**：确保所有节点之间可以通过网络相互通信，设置静态 IP 地址，并配置好主机名和 `/etc/hosts` 文件。
- **用户创建**：在所有节点上创建相同用户名和密码的用户，例如 `
hadoop` 用户，并为其赋予 sudo 权限。
- **SSH 免密登录**：配置所有节点之间的 SSH 免密登录，方便后续操作。
### 安装
Java
Java 是
Hadoop 和 Spark 运行的基础，需要在所有节点上安装。以 OpenJDK 为例：
```bash
sudo yum install -y
java-1.8.0-openjdk-devel
```
然后配置环境变量，编辑 `/etc/profile` 文件：
```bash
export
JAVA_HOME=/usr/lib/jvm/
java-1.8.0-openjdk
export PATH=$PATH
:$
JAVA_HOME/bin
```
使环境变量生效：
```bash
source /etc/profile
```
### 安装
Hadoop
1. **下载和解压**：从
Hadoop 官方网站下载合适版本的
Hadoop，例如
Hadoop 3.3.1：
```bash
wget https
://downloads.apache.org/
hadoop/common/
hadoop-3.3.1/
hadoop-3.3.1.tar.gz
tar -zxvf
hadoop-3.3.1.tar.gz -C /usr/local
cd /usr/local
mv
hadoop-3.3.1
hadoop
```
2. **配置环境变量**：编辑 `/etc/profile` 文件，添加以下内容：
```bash
export
HADOOP_HOME=/usr/local/
hadoop
export PATH=$PATH
:$
HADOOP_HOME/bin
:$
HADOOP_HOME/sbin
```
使环境变量生效：
```bash
source /etc/profile
```
3. **配置
Hadoop 文件**：
- `core-site.xml`：
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs
://namenode
:9000</value>
</property>
<property>
<name>
hadoop.tmp.dir</name>
<value>/usr/local/
hadoop/tmp</value>
</property>
</configuration>
```
- `hdfs-site.xml`：
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/
hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/
hadoop/hdfs/datanode</value>
</property>
</configuration>
```
- `mapred-site.xml`：
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
- `yarn-site.xml`：
```xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>resourcemanager</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
- `slaves` 文件：列出所有 DataNode 节点的主机名。
4. **分发配置文件**：将配置好的
Hadoop 目录分发到所有节点。
5. **格式化 NameNode**：在 NameNode 节点上执行：
```bash
hdfs namenode -format
```
6. **启动
Hadoop 集群**：在 NameNode 节点上执行：
```bash
start-dfs.sh
start-yarn.sh
```
### 安装 Spark
1. **下载和解压**：从 Spark 官方网站下载合适版本的 Spark，例如 Spark 3.2.0：
```bash
wget https
://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-
hadoop3.2.tgz
tar -zxvf spark-3.2.0-bin-
hadoop3.2.tgz -C /usr/local
cd /usr/local
mv spark-3.2.0-bin-
hadoop3.2 spark
```
2. **配置环境变量**：编辑 `/etc/profile` 文件，添加以下内容：
```bash
export SPARK_HOME=/usr/local/spark
export PATH=$PATH
:$SPARK_HOME/bin
:$SPARK_HOME/sbin
```
使环境变量生效：
```bash
source /etc/profile
```
3. **配置 Spark 文件**：
- `spark-env.sh`：
```bash
export
JAVA_HOME=/usr/lib/jvm/
java-1.8.0-openjdk
export
HADOOP_CONF_DIR=/usr/local/
hadoop/etc/
hadoop
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
```
- `slaves` 文件：列出所有 Worker 节点的主机名。
4. **分发配置文件**：将配置好的 Spark 目录分发到所有节点。
5. **启动 Spark 集群**：在 Master 节点上执行：
```bash
start-all.sh
```
### 验证安装
- **
Hadoop 验证**：通过浏览器访问 `http
://namenode
:9870` 查看 HDFS 管理界面，访问 `http
://resourcemanager
:8088` 查看 YARN 管理界面。
- **Spark 验证**：通过浏览器访问 `http
://master
:8080` 查看 Spark 管理界面。
### 相关问题
本文详细介绍了如何在多台虚拟机上搭建Hadoop的完全分布式环境，包括克隆虚拟机、网络配置、时间同步、主机名更改、免密钥登陆、Hadoop配置等步骤，最终实现通过Web查看分布式系统状态。
最低0.47元/天 解锁文章
扫一扫
8172
到【灌水乐园】发言
