一、准备工作
1. 环境配置
1.1 解压hadoop安装包
在服务器的/usr/local/hadoop
目录下进行解压
tar -zxvf hadoop-3.3.0.tar.gz
1.2 配置环境变量
1.2.1 配置hadoop环境变量
打开Linux系统配置:
vim /etc/profile
source /etc/profile
在末尾添加下面内容:
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.0
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
1.2.2 配置网络映射
vi /etc/hosts
添加下面内容,后面直接用hadoop代表该主机
192.168.***.*** hadoop
1.2.3 生成公私钥
生成公私钥:
ssh-keygen -t rsa
将公钥拷贝到所有hadoop节点,我这里只有一个节点
ssh-copy-id hadoop
2. HDFS配置
在hadoop-3.3.0/etc/hadoop
文件目录下进行修改
2.1 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-3.3.0/hadoop-tmp</value>
</property>
</configuration>
2.2 hdfs-site.xml
由于我没有搭集群,只部了一个HDFS服务,所以备份数量是1
<configuration>
<property