1392252267@qq.com

摘录自《Hadoop 权威指南》—— 第四版文件压缩有两种好处：减少存储文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。这两大好处在处理数据时相当重要，值得仔细考虑在 Hadoop 中文件压缩的用法。有很多种不同的压缩格式、工具和算法，它们各有千秋。如下表列出了与 Hadoop 结合使用的常见压缩方法：压缩格式centered 工具算法文件扩展名是否可切分DEFLATE无DEFLATE.deflate否gzipgzipDEFLATE.gz否.

摘录自《Hadoop 权威指南》—— 第四版Hadoop 用户希望系统在存储和处理时不会丢失或损坏任何数。尽管磁盘或网络上的每个 I/O 操作不太可能将错误引入自己正在读/写的数据中，但是如果系统中需要处理的数据量大到 Hadoop 的处理极限时，数据被损坏的概率还是很高的。监测数据是否损坏的常见措施是，在数据第一次引入系统时计算校验和（checksum）并在数据通过一个不可靠的通道进行传输时再次计算校验和，这样就能发现数据是否损坏。如果计算得到的校验和和原来的校验和不匹配，就认为数据已损坏。注意.

关于hadoop模式三种的了解，请自行百度了解，此文只说明伪分布式的搭建前提：jdk（hadoop是有java语言完成的，必须有jdk支持）可以参考我的经验  --- > Linux-CentOS-6.5下配置JDK一、准备工作1、下载hadoop地址：http://hadoop.apache.org/releases.html2、关闭防火墙 - 为了方便之后操作...

摘自《Hadoop权威指南-第4版》--- Tom White著，王海等译 --- 7.1节 P184~P189Hadoop运行作业时的流程大致如下在最高层，有以下5个独立的实体：客户端，提交MapReduce作业。 YARN资源管理器，负责协调集群上计算机资源的分配。 YRAN节点管理器，负责启动和监视集群中机器上的计算容器（container）。 MapReduce的...

1、MR执行流程作业的提交1）启动客户端Client，运行Job；2）客户端向资源管理器（ResourceManager）提交任务，请求一个新的ID号；3）客户端将Job所需的资源发送给HDFS；4）客户端向RM提交作业；作业的初始化5）RM将作业请求发送给Yarn调度器（Scheduler），调度器给作业分配容器，然后在该容器中启动Application Master...

1、Yarn的大致结构Resource Manager（RM，资源管理器）：负责整个系统的资源管理和分配，并且由Scheduler和Application Manager组成；Scheduler（调度器）：根据容量、队列等，将系统中资源分配给各个正在运行的应用程序；Application Manager（ASM，应用程序管理器）：负责管理整个系统中所有应用程序，包括应用程序提交、与调度...

1、Hadoop2.0的高可用有两个NameNode节点，一个active，一个standby（时刻同步active的数据），从而实现高可用。两个NameNode之间通过JournalNodes的独立进程进行通信，当active中的NameNode的命名空间有任何改变时，便会通知大部分的JournalNode进程。standby的NameNode有能力读取JN中的变更信息，并且一直观察ed...

以下步骤是成功部署之后，摘录整理的，若读者根据以下步骤不成功，请重新搜索。===========================================================================================安装步骤参考自：https://www.cnblogs.com/wuxun1997/p/6847950.html 1、hadoo...