hadoop

  海量数据,具有高增长率,数据类型多样化,一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集合

大数据的4V特征:巨大的数据量,数据类型多样化,数据增长速度快,价值密度低(经过处理,解析等得到商业价值比较高的数据),商业价值高 

 记录已经发生的一切,描述正在发生的一切,预测将要发生的一切

 

 

 

 nameNode有且仅有一个,是用来维护集群的目录数结构及对外提供服务的

dataNode是用来存储数据的

 

 

 

 

 

 

 

 

 3.5.1 启动集群

 

3)jps查看进程 

 

 

 

 合并下载:就是把多个文件中的数据合并下载到一个文件中,下图中file文件中的数据是file1,file2,file3三个文件中的全部内容

 移动文件和重命名文件

 

 

 

 改之前

 改之后

 

 

 

HDFS不适合存储小文件 

 

 

 

 

 

 

 

 

 

 

 

 

MapReduce1.x已经过时了 

 

 重点关注yarn

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值