u014625500的专栏

版本： CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3） hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。 比如现在有如下的需求： 现有两份数据： phone： [plain] view plaincopy 123,go

云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获

谈到云计算就不得不说到大数据，没有大数据云计算只是一个空壳，没有云计算大数据也就无从谈到大。        数据本身并不是创新，无论大小的企业都会有自己的数据，如果它不通过互联网传到云中，它也只是对它自己的企业有价值，得不到提升。一旦这些数据通过网络，再由云技术整合，分类，存储，传播开来，让它不止为单一的企业服务，它的社会价值就会完全的体现出来了。        比如我们要买某一款电子产品IP

Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病的地方之一。为了水平的扩展NameNode服务，在

在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图，如下所示。 从上面的结构可以看出，HDFS主要包括两层：Namespace（命名空间）和块存储（BlockStorage）。命名空间由目录、文件和块组成，支持文件系统相关的所有命