2020-11-25

一
Hadop分布式任算系统
1.主要用于对大于ITB的海量数据的处理
2.Haop采用Java语言开发.是对Goole sMnp Reluce核心技术的开系实现。
3.Halop的核心换块包括系统HDFS和分布式计算框架MopRelce，这一结构实现了计算和存储的高度精合，十分有利于面向数据的系统架构，因此已成为大数据技术领域的事实标准._
4.文件系统是Hladoop系统的重要组成部分，也是Padaop实现自动并行架的基础，Hadoope收能我为IDBB
5.HDFS原型→GFS
6.G好为分布式争统，也是一个高度各清网络文件系统，主要由一个Maate和众多chunkserver(大块设备)拘成的
Master保存着三类元数据 ：
1.文件多和块的名字空间
2.从文件到快的映射
3.副本位置
主从式是云计算系统的一种方式
HDFB1.略副事略2.分块事略 在对一个文件进行存的时的重要和略
MapReduce是一种处理大数器集的编程模式
Mpeare平架能类现基于数据切分的自动并行计算
mapredc特点
1、需要在集群条件下使用
2.需要有相应的分布式文件系统的支持
3.可以在商品化集群条件下了，不需要特别的硬件友慢
4.做设节点的失效为正常情况
5.适言对大数据进行处理
6.计算向东迁移
7. 计算效率变最慢的MaP任务影响