厉害哥哥的博客

本节内容延续前面几节内容，综合性的实现hadoop集群的高可用以及hadoop集群故障初始化的恢复，通过一个脚本，实现整个集群的高可用启停与状态观测。主要是zookeeper、hdfs、yarn等服务的高可用集群的一键式启停。

本节内容是关于hadoop集群下yarn服务的高可用搭建，以及其发生故障转移的处理，同样需要依赖zookeeper集群的实现，实现该集群搭建时，我们要预先保证zookeeper集群是启动状态。yarn的高可用同样依赖zookeeper的临时节点及监控，实现服务的故障转移。其ResourceManager的节点任务同样存储于zookeeper集群中，实现数据的共享。

本节内容主要介绍一下hadoop集群下实现HDFS高可用的自动故障转移，HDFS高可用的自动故障转移主要通过zookeeper实现故障的监控和主节点的切换。自动故障转移为 HDFS 部署增加了两个新组件：ZooKeeper 和 ZKFailoverController （ZKFC）进程。ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。

本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的切换到另外一台机器，并通过JournalNode实现主备节点的数据同步。

在hadoop的使用过程中，由于操作不善，导致集群数据丢失、宕机无法重启等等，这个时候我们如何将我们的hadoop集群恢复到初始化状态呢，本节内容就是针对hadoop集群由于误操作，或者数据丢失等等，我们想将错误数据清理，使hadoop集群恢复到初始化状态。以下是具体的操作过程。

本节内容我们主要是总结一下hadoop集群中常用的一些命令，以及通过自定义脚本，实现hadoop集群的启动、停止、状态查询等，便于hadoop集群的使用。

前面的章节我们已经介绍过了关于hadoop集群部署的内容，延续上一节的内容。本节我们主要介绍一下关于hadoop集群历史服务器的配置与启动，方便我们查看hadoop操作过程中的一些任务执行情况。同时我们也配置一下hadoop集群的日志聚集功能，这样便于集中查看hadoop集群的日志。

本节内容我们主要介绍，如何启动hadoop的组件服务，例如hdfs、yarn等，并通过修改自定义配置文件，修改我们组件的配置。

本节内容我们主要来介绍如何搭建hadoop集群，将hadoop的基础环境搭建完成，便于我们使用hadoop集群。在搭建hadoop集群之前，我们需要先安装java环境，并且我们需要规划我们hadoop集群的组件分布，保证hadoop集群服务器能发挥其最大的价值。

本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。集群之间的访问不在需要授权就可以实现相互访问。

本节内容我们实现虚拟机的克隆，主要根据模板虚拟机克隆三台hadoop虚拟机，用于hadoop集群的搭建，同时根据上一小节的内容，配置hadoop虚拟机的主机名、ip网络等，最终完成hadoop虚拟机的实例化。

本节内容我们主要介绍一下虚拟机的网络配置，网络使用NAT网络模式，将我们的虚拟机的网络设置为固定IP，不要动态分配IP，以及主机名的修改和配置主机名与网络IP的映射，实现通过主机名也能实现虚拟机的访问。

本节内容是对hadoop的模板虚拟机实现基本配置及基础软件安装，包括网络管理工具net-tool、rpm包管理工具等安装，并将防火墙关闭，便于虚拟机访问，以及创建了一个hadoop用户，用于hadoop服务的管理。

在实际的开发过程中，我们的hadoop都是以集群的方式存在，该系列内容我们使用vmware工具构建我们的虚拟机，从而实现hadoop集群搭建。在开始hadoop集群搭建之前，我们需要先创建一个模板虚拟机，便于我们集群虚拟机的快速克隆复制使用。关于vmware工具的安装，这里不在介绍，读者可以查看我往期的博客内容。

本节内容是大数据开篇的内容，主要介绍一下大数据的相关概念，以及hadoop组件的组成部分及架构，内容我们主要以hadoop3为例。便于我们理解后续的学习内容，也算是作者的学习笔记，不足之处，还望各位读者多多包涵，小白一枚。