三、阿里云CentOS7下部署Hadoop伪分布式平台

最新推荐文章于 2024-09-14 17:18:05 发布

玻璃水珠

最新推荐文章于 2024-09-14 17:18:05 发布

阅读量377

点赞数

分类专栏： Hadoop 文章标签： hadoop分布式 hadoop伪分布式

本文链接：https://blog.youkuaiyun.com/QQB67G8COM/article/details/82957833

版权

Hadoop 专栏收录该内容

19 篇文章

订阅专栏

一、授权普通用户管理hadoop的文件
在这里插入图片描述
将hadoopDir文件夹递归的授权给ljj用户。

二、通过wget下载好tar包（hadoop、pig、hive、hbase）（看不清楚放大看）
在这里插入图片描述

三、安装集群所需的软件
注：ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。

$ sudo yum -y install ssh 
$ sudo yum -y install rsync

四、安装ssh，配置免密码登录（用来和其他节点之间进行无密通讯）
在这里插入图片描述
步骤：
sudo yum -y install openssh-server
ssh localhost //初始化ssh以生成~/.ssh目录
cd ~/.ssh //进入目录
ssh-keygen -t rsa //一直回车
cat id_rsa.pub >> authorized_keys //生成authorized_keys

同样的操作在slave节点上安装、配置ssh服务（完全分布式才需要）
[ljj@hadoopMaster .ssh]$ scp authorized_keys ljj@slave ~ //在master节点上将authorized_keys复制到slave节点上
[ljj@slave .ssh]$ cat …/authorized_keys >> authorized_keys //在slave节点上将复制后的文件添加到本机的authorized_keys中

五、安装Hadoop
在这里插入图片描述
配置etc/hadoop/hadoop-env.sh

 # set to the root of your Java installation
export JAVA_HOME={$JAVA_HOME}       #设置JAVA_HOME,JAVA_HOME的位置详情参考上一章

文章位置：阿里云CentOS7的Java环境配置
配置etc/hadoop/core-site.xml

其它详情请参考官方文档：
单节点安装
 集群安装