MartinGQ的博客

0.安装前准备（1）安装 JDK（2）下载 Zookeeper 安装包，并将安装包传到服务器上下载地址：官方下载地址1.本地模式安装本地模式的安装很简单，将安装包解压到指定目录，然后修改一个配置即可。（1）将安装包解压到指定目录[admin@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/每个人的目录可能不一样，按照自己的目录规划来，直接解压安装包就行。（2）修改配置来

以下配置均针对Hadoop3.x系列1.NameNode、DataNode内存配置配置文件：hadoop-env.sh由hadoop-env.sh文件中的描述可知：（1）守护进程将在 _OPT参数中选择 Xmx设置作为Hadoop内存大小。（2）Hadoop的内存默认是动态分配的：若在 _OPT参数中没有设置 Xmx，则JVM会根据服务器内存大小，自动为Hadoop分配内存。# The maximum amount of heap to use (Java -Xmx). I..

1.通过限制网速，看测试结果的速度是否“满速”2.通过不限制网速，看测试结果的速度是否接近硬盘读写速度

NameNodeDataNode

1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名称可自定义）。（2）在文件 whitelist 和 blacklist 中分别写入想要添加到白名单或黑.

纠删码异构存储（冷热数据分离）

1.NameNode故障处理* NameNode进程挂掉如果只是 NameNode 进程挂掉了，那么执行以下命令重启即可。hdfs --daemon start namenode* NameNode进程挂掉且数据被删除如果 NameNode 的数据不小心被删除了，那么可以把 SecondaryNameNode 中的数据拷贝到 NameNode 中，并重启 NameNode 进程。注意：SecondaryNameNode 不是 NameNode 的备份，SecondaryNameNode 中的

4.小文件归档* HDFS存储小文件的弊端每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中，因此 HDFS 存储小文件会非常低效。因为大量的小文件会占用 NameNode 中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个 1MB 的文件设置为 128MB 的块存储，实际使用的是 1MB 的磁盘空间，而不是 128MB。* 解决存储小文件的弊端HDFS归档文件，是一个更高效的文件存档工具，它将文件存入 HDFS 块，在减少 NameNode 内存使.