Hadoop大体介绍

Hadoop 三种运行模式：

1.本地模式(学习)

1.没有HDFS,使用当前系统下的文件系统

2.没有YARN,使用的是Linux中的资源

3.使用了 Map-Reduce Framework

2.伪分布式模式(学习)

1.只有单台机器

2.使用HDFS、Yarn、MapReduce

3.分布式模式(企业级)

1.多台服务器

2.集群模式，包含整个Hadoop组件

HDFS SHELL:

1.两种命令模式

1.1 hadoop fs

1.2 hdfs dfs

2.上传文件

-put:

hadoop fs -put ./word.txt /input

-copyFromLocal

hadoop fs -copyFromLocal ./

3.下载文件：

-get

hadoop fs -get /input/word_2.txt ./word_3.txt

-copyToLocal

hadoop fs -copyToLocal /input/word_2.txt ./word_4.txt

4.查看HDFS文件信息：

-ls

hdfs dfs -ls /

-df -h

hdfs dfs -df -h / # 查看HDFS根目录中空间使用情况

-du -h

hdfs dfs -du -h / # 查看指定目录下的文件大小

5.赋予文件权限

-chmod

hdfs dfs -chmod u+x 路径 #表示对指定路径或文件赋予执行使用者权限

6.创建文件夹

-mkdir

-p :表示迭代创建多级目录

7.移动文件或文件夹

-mv

8.设置副本数

-setrep

hadoop fs -setrep 副本数 多个路径

9.查看文件内容

 

-tail

hadoop fs -tail /re/word_2.txt

-f:

hadoop fs -tail -f /re/word_2.txt # 表示追踪文件的内容

-cat

hadoop fs -cat /re/word_2.txt