Hadoop大体介绍

Hadoop 三种运行模式:

1.本地模式(学习)

1.没有HDFS,使用当前系统下的文件系统

2.没有YARN,使用的是Linux中的资源

3.使用了 Map-Reduce Framework

2.伪分布式模式(学习)

1.只有单台机器

2.使用HDFS、Yarn、MapReduce

3.分布式模式(企业级)

1.多台服务器

2.集群模式,包含整个Hadoop组件

HDFS SHELL:

1.两种命令模式

1.1 hadoop fs

1.2 hdfs dfs

2.上传文件

-put:

hadoop fs -put ./word.txt /input

-copyFromLocal

hadoop fs -copyFromLocal ./

3.下载文件:

-get

hadoop fs -get /input/word_2.txt ./word_3.txt

-copyToLocal

hadoop fs -copyToLocal /input/word_2.txt ./word_4.txt

4.查看HDFS文件信息:

-ls

hdfs dfs -ls /

-df -h

hdfs dfs -df -h / # 查看HDFS根目录中空间使用情况

-du -h

hdfs dfs -du -h / # 查看指定目录下的文件大小

5.赋予文件权限

-chmod

hdfs dfs -chmod u+x 路径 #表示对指定路径或文件赋予执行使用者权限

6.创建文件夹

-mkdir

-p :表示迭代创建多级目录

7.移动文件或文件夹

-mv

8.设置副本数

-setrep

hadoop fs -setrep 副本数 多个路径

9.查看文件内容

 

-tail

hadoop fs -tail /re/word_2.txt

-f:

hadoop fs -tail -f /re/word_2.txt # 表示追踪文件的内容

-cat

hadoop fs -cat /re/word_2.txt

 

 

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值