初阳

文章目录Hadoop Configuration 类加载属性解析1. 疑问1.1. 结论2. 从源码中一探究竟2.1. `new Configuration()`时发生了什么2.2. `configuration.get("fs.defaultFS")`时发生了什么Hadoop Configuration 类加载属性解析以下过程在3.2.2版本的源码上分析1. 疑问当我们创建HDFS client时，最简单的做法如下：Configuration configuration = new Conf

文章目录1. YARN基本架构1.1. YARN基本组成结构1.2. YARN工作流程1. YARN基本架构YARN是Hadoop2.0中的资源管理系统，基本设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。ResourceManager：负责整个系统的资源管理和分配ApplicationMaster：负责单个应用程序的管理1.1. YARN基本组成结构YARN总体上仍然

执行 hdfs fsck 可以得到如下帮助信息：Usage: hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>] <path> start che

执行 hdfs 命令后可以看到如下帮助信息：Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop. classpath prints the classpath nam

Hadoop三种部署模式及区别standalone mode，独立模式Pseudo-Distributed mode，伪分布模式cluster mode，集群模式区别集群模式不做介绍，用于实际生产环境独立模式，仅一个机器运行，一个Java进程伪分布模式，一个机器运行，hdfs的namenode和datanode，yarn的resourceManager和nodeMana...