崔凯洋的博客

hdfs namenode -format对于一个新鲜的集群，使用hdfs namenode -format是必须要做的事情，这一步叫格式化namenode，format英文本身的意思就是格式化格式化namenode的目的：HDFS需要格式化的过程来创建存放元数据（image，editlog）的目录我在安装hadoop集群的时候，经常会遇到虚拟机centos7崩溃这个时候我的slave1和slave2已经是使用过一段时间的集群了，正是因为master的突然崩溃，不得已重新克隆一份sla.

解压完Hadoop-3.1.1之后，进入到Hadoop-3.1.1文件夹中bin：放可执行文件etc：放配置文件lib：放使用的库配置好Hadoop的环境变量：HADOOP_HOME=/export/servers/hadoop-3.1.1PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin并使环境变量生效source /etc/profileetc/hadoop就是我们所要配置的文件cap.

HDFS的命令行使用语法：hdfs dfs 参数hdfs常用的操作命令hdfs dfs -ls / 查看根路径下面的文件或者文件夹hdfs dfs -mkdir -p /xx/xx 在hdfs上面递归创建文件夹hdfs dfs -moveFromLocal sourceDir(在本地磁盘的文件或者文件夹的路径) destDir(hdfs的路径)hdfs dfs -mv hdfsSourceDir hdfsDestDirhdfs dfs -put localDir hdfsDir 将.

如果一个datanode的block经常被访问，那么这个块就会被放入进Datanode的内存中，以堆外缓存的形式存在好处：提高块的读取速度block是一个逻辑单位，一个文件有130m会被切分为2个block。保存在两个block块里面时间占用磁盘空间130m，而不是占用256m的磁盘空间一个block的默认大小是128mHDFS系统存储和linux存储很类似...

HDFS的副本机制---------快速回复能力副本机制：保证数据的容错性因为datanode上的数据是会丢失的，存第一块的时候，又复制出一块存放在其他两个节点上，存放的相当于副本假如说node1机器宕机了，其他的机器是有存放node1的block副本，即使node1宕机也不影响数据的完整性的a.txt 在namenode上是这样记录的：block1上存放了node1、node2和node3的副本，第一台node1宕机了不要紧，namenode会去另外某机器上去拷贝副..

HDFS通过跨多个廉价计算机集群分布数据和处理来节约成本 通过自动维护多个数据副本和在故障发生时来实现可靠勤性 它们为存储和处理超大规模数据提供所需要的拓展能力

HDFS概述DHFS(Hadoop Distributed File System)，Hadoop分布式文件系统适合存储大型数据（比如TB和PB），其就是使用HDFS作为存储系统HDFS对数据文件的访问通过流的方式进行处理，这就意味着可以通过命令和MapReduce程序的方式可以直接使用HDFSHDFS使用多台计算机存储文件，并且提供统一的访问接口，像是访问普通文件系统使用分布式文件系统现在有一个2T的a.txt 在一台电脑上无法直接放下，怎么解决？引申出下面的问题如何解决.

0x00 Preface[前言，准备阶段]自我检查！！a、 安装jdk并设置环境变量https://blog.youkuaiyun.com/Attsky/article/details/109555564b、安装hadoop并设置环境变量https://blog.youkuaiyun.com/Attsky/article/details/110003918c、修改hosts文件、hostnamehttps://blog.youkuaiyun.com/Attsky/article/details/110004440

0x00 Preface[前言，准备阶段]自我检查！！a、 安装jdk并设置环境变量https://blog.youkuaiyun.com/Attsky/article/details/109555564b、安装hadoop并设置环境变量https://blog.youkuaiyun.com/Attsky/article/details/110003918c、修改hosts文件、hostnamehttps://blog.youkuaiyun.com/Attsky/article/details/11000.

环境：Centos7hadoop-2.6.0.tar.gz0x01获取hadoop压缩安装包hadoop官网下载：https://archive.apache.org/dist/hadoop/common/这是Apache官网，hadoop版本最全的网站使用wget在centos7虚拟机，下载十分缓慢方式一：本地上传可以在本地下载hadoop，用Winscp软件上传到root根目录方式二：使用国内镜像站在centos虚拟机里用wget命令下载0x02解压hadoo

ZooKeeper JMX enabled by defaultUsing config: /export/servers/zookeeper-3.4.9/bin/../conf/zoo.cfgError contacting service. It is probably not running.这个问题网上说了一大堆，都没有解决我的问题说白了还是不理解Zookeeper的机制，有关ZooKeeper是原理自行百度或者找我的下一片文章1、检查hosts的映射是否有问题映射问题在

关闭selinux步骤0x01用vi修改selinux的配置文件vi /etc/selinux/config0x02修改#SELINUX=enforcing为SELINUX=disabled这里就不修改了，注释掉好了，再直接复制修改为SELINUX=disabledselinux的工作模式enforcing 强制模式permissive 宽容模式disabled 关闭什么是selinux？selinux是Linux的一种安全子系统 Linux中的权限管..

CentOS 7.0默认使用的是firewall作为防火墙查看防火墙状态firewall-cmd --state停止firewallsystemctl stop firewalld.service禁止firewall开机启动systemctl disable firewalld.service 参考链接https://blog.youkuaiyun.com/ytangdigl/article/details/79796961...