大数据学习Hadoop之HDFS基础使用

一、HDFS启动：

1、第一次启动：

1.1、查看服务是否启动

ps  -ef|grep hdfs

1.2、如果未启动，进入相关目录启动

cd  /software

ll

cd /hadoop-2.8.1

ll

cd sbin

./start-dfs.sh 

1.3、查看启动的进程：

jps

2、第二次启动：

namenode：localhost 
datanode：localhost

secondary namenodes： 0.0.0.0 

3、修改namenode和datanode的启动地址：

3.1、修改namenode

cd   /software/hadoop-2.8.1/etc/hadoop

vi core-site.xml

修改为本机的ip或者hostname都行：

3.2、修改后关闭并重启：

3.3、通过浏览器访问hdfs:

http://192.168.137.130:50070

3.4、修改datanode:

关闭hdfs.

cd  /software/hadoop-2.8.1/etc/hadoop

ll

vim   slaves

192.168.137.130

编辑保存后，重新启动：

二、jps:

1.查看jps的路径：

which   jps

2、更改hadoop-2.8.1目录所属的权限，并切换为hadoop用户

chown -R hadoop:hadoop hadoop-2.8.1
 su - hadoop

cd /soft/hadoop-2.8.1/hadoop-2.8.1

sbin/start-dfs.sh

 

3、给hadoop用户配置密码：

4、配置完后，在hadoop用户下，启动hdfs:

三、以hadoop用户重新部署hdfs

1、杀死hadoop用户的进程

kill -9 $(pgrep -f hadoop)

2、以root用户登录，删除旧的数据

 rm -rf /tmp/hadoop-*     /tmp/hsperfdata-*

3、以hadoop用户登录，配置信任关系

3.1、生成本地秘钥：

ssh-keygen

3.2、将秘钥内容写入authorized_keys文件

cd .ssh

cat id_rsa.pub >> authorized_keys

3.3、做当前主机的免密码登录

chmod 600 authorized_keys

ssh 192.168.137.137 date

3.4、进行校验：

ssh 192.168.137.130 date

4、格式化文件系统：

cd /software/hadoop-2.8.1/

hdfs namenode -format

5、重新启动hdfs:

sbin/start-dfs.sh

6、修改secondarynamenode:

6.1、登录官网，查看如何配置

打开hdfs-default.xml文件，ctrl+f进行搜索：

secondarynamenode:

6.2、进入etc/hadoop目录

 vim hdfs-site.xml 

6.3、重新启动hdfs: