sz_lili的博客

前言：一、HDFS的一些基本概念：数据块（block）：大文件会被分割成多个block进行存储，block大小默认为128MB。每一个block会在多个datanode上存储多份副本，默认是3份。namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。datanode：datanode就负责存储了，当然大部分容错机制都是在d...

1.读流程1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信，校验是否有权限是否存在，假如都ok，返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象；1.2、Clinet调用FSDataInputStream.read方法。a.与第一个块...

在HDFS中，一个bolck块的默认大小是128M，当一个文件的大小小于一个block的大小，则被认为是小文件危害：1、NameNode需要的内存大大增大，增加NameNode压力，这样会限制了集群的扩展。2、在HDFS中，小文件的读写处理速度要远远小于大文件3、Hive中，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能...

1、部署环境需安装jdk：https://blog.youkuaiyun.com/sz_lili/article/details/947362812、部署版本：hadoop-2.6.0-cdh5.7.03.、创建hadoop管理用户4、创建管理文件夹及准备软件包上传hadoop-2.6.0-cdh5.7.0安装包到software文件：wget http://archive.cloudera.c...