残缺的歌的专栏

Hadoop学习八：Hadoop-Hdfs RPC源码 Client博客分类： Hadoop 一.Client类图 二.详细描述 ConnectionId：This class holds the address and the user ticket. The client connections to servers are un

随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析O

一.Hadoop社区版和发行版社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoophttp://hadoop.apache.org/发行版：基于Apache Hadoop的基础上进行商业改造的解决方案，包含一系列定制的管理工具和软件。二.Hadoop社区版版本号     一直以来，Hadoop的版本号一直困扰着广大H

一.Hadoop来历 2004年12月。Google发表了MapReduce论文，MapReduce允许跨服务器集群，运行超大规模并行计算。Doug Cutting意识到可以用MapReduce来解决Lucene的扩展问题。Google发表了GFS论文。Doug Cutting根据GFS和MapReduce的思想创建了开源Hadoop框架。2006年1月，Doug Cutting加入Yah

Hadoop学习三：Hadoop-Hdfs物理文件夹博客分类： Hadoop 一.NameNode物理文件夹  二.DataNode物理文件夹

Hadoop学习四：Hadoop-Hdfs NameNode博客分类： Hadoop 一.NameNode概述 NameNode存放了所有文件和文件夹的元数据信息内存中：在系统启动时，会把fsimage和editlog记录的元数据信息加装到内存中；在系统启动时，NameNode收集DataNode心跳，在内存中形成file->blocks的对

Hadoop学习五：Hadoop-Hdfs DataNode博客分类： Hadoop  一.数据块HDFS默认数据块大小64M。文件大于64M，将被分为若干份64M+其它M存储；文件小于64M，并不会占用整个64M大小，对于小文件，HDFS提供了几种解决方案：Hadoop Archive，Sequence file和CombineFileIn

Hadoop学习六：Hadoop-Hdfs源码 classification包博客分类： Hadoop 一.org.apache.hadoop.classification.* 二.解释 InterfaceAudience类包含三个注解类，用来说明被注解类的使用范围。InterfaceAudience.Public：所

Hadoop学习七：Hadoop-Hdfs源码 conf包博客分类： Hadoop 一.conf包下四个类 二.详细描述 Configurable接口：Something that may be configured with a {@link Configuration}.，很绕口，简单理解为Hdfs系统配置文件的接口。

1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的