Remember_Z的博客

1、回顾HDFS架构体系 之前有简单提及过，HDFS的架构中，除了NameNode和DataNode外，还有个SecondaryNameNode也扮演着重要的角色。再来简单回顾下HDFS的架构体系 （1）Client 文件切分，文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS Client 可以通过一些

hadoop fs 等同于 hdfs dfs 1、列出所有受支持的命令 hadoop fs [root@hadoop-node1 hadoop-3.3.2]# hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum [-v] &l.

HDFS（Hadoop Distributed File System），Hadoop分布式文件系统。适用于一次写入，多次读取的场景。 1、优缺点 （1）优点 高容错性：通过增加副本的形式来提高容错性。在一个节点上，副本最多只有一个，某节点挂了之后，若可用节点依旧大于等于副本数量，则会自动增加一个副本到其他节点。 适合处理大数据 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据； 文件规模：能够处理百万规模以上的文件数量，数量相当之大。 （2）缺点 不适合低延时数据访问，比如毫秒级的

快速搭建一个hadoop集群一、准备虚拟机二、配置ssh免密登录三、编写文件同步脚本四、安装jdk和hadoop五、hadoop集群配置六、启动集群 快速搭建一个hadoop集群 本文不讲原理，只记录一下快速搭建hadoop集群的过程。参考：https://www.bilibili.com/video/BV1Qp4y1n7EN 系统：CentOS7.7 hadoop版本：3.3.2 jdk版本：1.8.0_321 一、准备虚拟机 1、安装三台虚拟机，安装过程可参考 超详细的CentOS7.4下载与图文安