HDFS伪分布式和完全分布式搭建步骤

HDFS伪分布式和完全分布式搭建步骤

1.伪分布式搭建

搭建步骤

1. 配置免密登录

[root@localhost ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@localhost ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

2. 配置jdk
   linux安装jdk配置
3. 修改hdfs-site.xml,core-site.xml，slaves配置文件

//修改hdfs-site.xml配置文件 vm hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>     
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>
</configuration>

//修改core-site.xml配置文件 vm core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/var/abc/hadoop/local</value>
	</property>
</configuration>
//修改slaves配置文件 vim slaves
修改为node01(node01均为虚拟机名称)

4. 格式化NameNode
   hdfs namenode -format
5. 启动HDFS
   start-dfs.sh
6. 操作HDFS文件系统
   ①创建目录 hdfs dfs -mkdir -p /user/root
   ②上传文件 hdfs dfs -Ddfs.blocksize=1048576 -put

2.HDFS完全分布式搭建

搭建步骤

1. 时间同步

1. 各个节点安装ntp命令
   yum install ntp
2. 上网查找最新的时间服务器
   ntp1.aliyun.com
3. 同步时间
   ntpdate ntp1.aliyun.com

2.配置免密登录

示意：node01->node01 node01->node02 node01->node03 node01->node04

1. 在每一个节点（虚拟机）上执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

2. 在node01节点执行，将node01的公钥加入到其他节点的白名单中

ssh-copy-id -i~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

3. 所有节点配置jdk

linux安装jdk完整步骤
配置jdk：
打开解压后文件下，如下目录,依次执行

[root@wh2 ~]# cd /usr/local/hadoop-2.6.5/etc/hadoop/

[root@wh2 hadoop]# vim hadoop-env.sh
// 将等号后面的修改为自己jdk安装目录
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151/

4.修改hdfs-site.xml配置文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                 <name>dfs.namenode.secondary.http-address</name>
                 <value>node02:50090</value>
      </property>
</configuration>

6.修改core-site.xml配置文件

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/var/abc/hadoop/cluster</value>
        </property>
</configuration>

7.修改slaves配置文件

// 注意不要写成一行，每个节点之间要换行
node02
node03
node04

8.将配置好的安装包分发到其他节点

在node01执行三次(分别执行root@node02，root@node03，root@node04)

scp -r hadoop-2.6.5  root@node02:/opt/software/hadoop
// 或
scp -r hadoop-2.6.5root@node02:`pwd`

9.格式化NameNode

创建目录以及文件，在node01节点执行

hdfs namenode -format

10.启动HDFS

start-dfs.sh

11.操作HDFS文件系统

1. 创建目录 hdfs dfs -mkdir -p /user/root
2. 上传文件 hdfs dfs -D dfs.blocksize=1048576 -put