qq_41443987的博客

1 MapReduce的类型 默认的MapReduce作业 示例一个最简单的MapReduce程序/*** 简单一个文件转移*/public class example1 extends Configured implements Tool { public int run(String[] strings) throws Exception...

1、 作业的提交可通过调用Job对象的submit()方法，也可以调用waitForCompletion()方法。Job的submit()方法创建了一个内部的JobSummiter实例，并调用其submitJobInternal()方法。提交作业后，waitForCompletion()轮询进度，有变化就打印到控制台。作业完成后，若成功，显示作业计数器，失败则显示失败的错误记录。J...

1、数据完整性检测数据是否损坏：在数据第一次引入时计算校验和并在数据通过一个通道进行传输时再次计算校验和（CRC-32）HDFS中，datanode负责在收到数据后存储该数据及其校验和之前对数据验证，客户端从datanode读取数据也会验证校验和，每个datanode运行一个DataBlockScanner后台进程定期验证数据块。2、压缩图中所有压缩工具提供9个不同选项控...

1、YARN应用的运行机制Step1:客户端联系资源管理器，要求它运行一个application master进程Step2:资源管理器找到能够在容器(container)中启动application master的节点管理器. 若该进程只是单独运行一个计算，则由Step2后直接返回结果。否则进Step3.Step3:启动中的application master 向资...