qq_41620635的博客

HDFS 的读写流程  HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；  上传文件和读取文件时 HDFS 重要的流程；HDFS 的写文件流程图文解释：  1、Client 连接 HDFS ，发送上传文件的请求；  2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；    列如：      block01：dataNode1、dataNode2      block02：da

HDFS核心的设计思想  HDFS 集群中，主要的角色有 NameNode 和 DataNode 两大角色 （SecondaryNamenode 和 Client）；  NameNode 负责管理文件系统的元数据，并响应 Client 的请求；  DataNode 负责存储用户的文件块（block），进行读写文件，并向 NameNode 发送心跳信息。  文件会按照固定的大小切分成块（block），每一个 block 的默认大小为 128M；  每一个 block 都会存在多个副本，形成备份存在于

HDFS的简单介绍

Hadoop 的产生：  随着各行业进入大数据时代，大规模的数据收集，大量的数据生产速度和数据结构的多样性，使得大数据生态快速发展，用于处理和计算大规模的数据。  大数据的特点：    Volume 大量    Velocity 高速    Variety 多样    Value 低价值密度    Veracity 真实性  使用一台机器无法处理的数据；  Hadoop起源于Nutch（由java语言编写的搜索引擎），Nutch设计为一个大型全网搜索引擎，包括网页抓取、索引、查询等的功能