qq_33301310的博客

准备工作hadoop-2.7.2.tar.gz链接：https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码：uo7bhadooponwindows-master.zip链接：https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码：25ko操作解压 hadoop-2.7.2.tar.gz修改配置文件hadoop-env.cmd路径：hadoop-2.7.2\etc\hado

优点高容错性数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。适合处理大数据数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模：能够处理百万规模以上的文件数量，数量相当之大。可构建在廉价机器上，通过多副本机制，提高可靠性。缺点不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。无法高效的对大量小文件进行存储。存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不

hadoop学习笔记 - HDFS - 完全分布式模式Hadoop完全分布式模式结构hadoop01hadoop02hadoop03HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager准备工作：3台服务器Jdk环境SSH配置Hadoop安装配置hadoop01的core.

hadoop学习笔记 - HDFS - 伪分布式模式准备工作伪分布式 当然就一台机器哈，后面继续学习，多台机器虚拟机提前配置好JDK 1.8.x （jdk配置就不多说了）不会的给个传送门：https://www.jianshu.com/p/8cbea338b4ef下载hadoop包，传送门：https://archive.apache.org/dist/hadoop/common/这里使用的是：hadoop-hadoop-2.10.0.tar.gz为案例 版本选在根据自己的需求来。.

Hadoop的优势（4高）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。高效性：在MapReduce的思想下，Hadoop的并行工作的，比加快任务处理速度。高容错性：能够自动将失败的任务重新分配。Hadoop组成HDFS架构概述NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所