Hadoop集群部署(Linux)

        Hadoop集群的部署方式分为三种,分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode),独立模式和伪分布式模式主要用于学习和调试,完全分布式通常在实际生产环境使用。 为了提高Hadoop集群的高可用性,通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。

1.关闭防火墙

systemctl stop firewalld.service       //关闭防火墙

systemctl disable firewalld.service   //关闭自启动

systemctl status firewalld.service     //查看防火墙状态

 2.关闭selinux,进入vi /etc/sysconfig/selinux 修改为disabled 

SELINUX=disabled   //selinux被禁用

3.修改主机名,vi /etc/hostname 为自己定义的名字,如图所示

4.添加静态ip地址与主机名对应 vi /etc/hosts

5.安装jdk并克隆虚拟机,前面两章有讲啦

  • 安装hadoop前,必须有jdk,然后我们再克隆二台虚拟机,分别为一台主机两台从机,克隆完记得,修改mac地址,再修改主机名和网络

192.168.8.49          //主

192.168.8.48          //从

192.168.8.47          //从

6.配置SSH实现远程登陆,这一步可忽略,因为通常都有安装且是活状态,所以直接远程链接Xshell等远程链接工具就行

### 如何在Linux上搭建和部署Hadoop集群 #### 配置环境准备 为了成功搭建Hadoop集群,确保所有节点之间已配置好SSH免密登录,并且安装了Java运行环境(JRE)。这一步骤对于后续操作至关重要[^2]。 #### 安装Java环境 进入Hadoop安装目录,编辑`/etc/hadoop/hadoop-env.sh`文件,设置`JAVA_HOME`为JDK的安装路径。例如: ```bash export JAVA_HOME=/opt/dev/jdk1.8.0_151 ``` 此命令指定了Java开发工具包的位置,这对于Hadoop正常工作非常重要[^3]。 #### 下载并解压Hadoop软件包 下载适合版本的Hadoop压缩包到服务器上,并将其解压至指定位置。通常建议创建专门用于存储Hadoop及其数据的目录结构。 #### 修改核心配置文件 Hadoop集群配置由多个部分组成,包括但不限于HDFS集群配置、MapReduce集群配置以及YARN集群配置。这些组件共同构成了完整的Hadoop生态系统[^1]。 具体来说,在`$HADOOP_HOME/etc/hadoop/core-site.xml`中定义NameNode地址;而在`hdfs-site.xml`里则需设定DataNodes的相关参数,比如副本数量等。同样地,针对MapReduce作业管理器(`mapred-site.xml`) 和资源调度框架(YARN, `yarn-site.xml`)也需要做相应调整来适应实际需求。 #### 初始化HDFS文件系统 完成上述配置之后,执行如下命令初始化分布式文件系统的命名空间: ```bash $HADOOF_HOME/bin/hdfs namenode -format ``` 这条指令会格式化新的文件系统实例,准备好接收来自客户端的数据输入。 #### 启动服务进程 依次启动各个子系统的服务端口,可以利用脚本简化这一过程: ```bash start-dfs.sh # 启动HDFS相关守护程序 start-yarn.sh # 开启YARN所需后台线程 mr-jobhistory-daemon.sh start historyserver # 如果需要启用历史记录功能的话 ``` 至此,基本完成了整个Hadoop集群的基础架构建设。接下来可以根据业务逻辑编写自定义的应用程序代码(Mapper & Reducer), 并提交给集群处理分析任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值