HDFS 单机搭建

HDFS 单机搭建

标签 ： Java hadoop hdfs

---

安装

• 请点击下载hadoop-2.6.4

• 解压到 /home/hdfs/hadoop

useradd hdfs // 创建hdfs用户
passwd hdfs // 设置hdfs用户的登陆密码
su hdfs // 切换到hdfs用户登陆
cd ~ // 进入hdfs的家目录
rz // 上传windows本地的文件到此家目录
tar -zxvf hadoop-2.6.4.tar.gz // 解压安装包
mv hadoop-2.6.4 hadoop // 重命名解压后的文件名

• hdfs机器免密验证设置

cd ~/.ssh
ssh-keygen -t rsa // 一路摁回车
id_rsa // 私钥
id_rsa.pub // 公钥
cat id_rsa.pub >> authorized_keys // 在master上将公钥放到authorized_keys(已认证的keys)里
sudo scp authorized_keys hdfs@192.168.153.129:~/.ssh 
// 将master上的authorized_keys放到其他(需要免密的节点)linux的~/.ssh目录下
sudo scp authorized_keys hdfs@192.168.153.128:~/.ssh
// 将master上的authorized_keys放到其他(需要免密的节点)linux的~/.ssh目录下
chmod 644 authorized_keys // 修改钥的权限

• 设置Java环境变量

vi ~/bashrc
export JAVA_HOME=/java_install_dir/jdk1.8.0_91
export JRE_HOME=/java_install_dir/jdk1.8.0_91/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
source ~/.bashrc // 让配置生效
echo $JAVA_HOME
/java_install_dir/jdk1.8.0_91

配置 *.xml

• 配置hadoop-env.sh

export JAVA_HOME=/java_install_dir/jdk1.8.0_91

• 配置 yarn-env.sh

export JAVA_HOME=/java_install_di