大数据的特征

一、大数据特征

1. 数据体量巨大

2. 数据类型多样(文本,图像,视频,音频)

3. 价值密度低,商业价值高

4.速度要求快,数据输出输入的速度

二、大数据之核心

1.数据的存储

2. 数据的计算(处理)

三、Hadoop

1. Apache开源软件基金会开发的

2. 运行于大规模普通服务器上的

3. 大数据存储、计算、分析

4. 分布式存储系统和分布式运算框架

Hadoop2.0由三部分组成

1. 分布式文件系统HDFS

2. 资源分配系统yarn

3. 分布式运算框架MapReduce

四、Hadoop分布式架构

1. Master/Slave

2.Mater节点

  NameNode NN

  SecondaryNameNode SNN

  ResourceManager rm

3. Slave节点

  DodeManager NM

  DataNode DN

五、MapReduce 计算框架

1. 将计算移动到数据

  硬盘存储成本不断降低

  传输速率提升不大

  磁头定位时间无提升

2. MapReduce的特性

  自动实现分布式并行计算

  容错

  提供状态监控工具

  模型抽象简洁,程序员易用

六、MapReduce函数式编程

Map

  映射和分发

Reduce

  汇聚和聚合

 

转载于:https://www.cnblogs.com/sumboy/p/9065675.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值