Bob Liu的程序人生

简介本文介绍了在Ubuntu 16.04 TLS系统下，如何配置Hadoop 2.7.3集群运行环境。环境大搭建使用了虚拟化平台VMware vSphere 5.1，方便虚机的拷贝和部署。读者也可以在个人PC上通过虚拟化软件VirutalBox或WorkStation部署Hadoop的集群环境。

通过自己安装部署Hadoop和Hive可以让用户更加清楚的知道这些工具是如何工作的，特别是对开发者来说。本文详细介绍了如何在Ubuntu系统上的安装部署Hive 2.2，这里使用的Hadoop版本为2.7.3。

$HIVE_HONE/bin/hive命令工具是与Hive服务交互的最常用的方式，是学习和熟悉Hive重要的工具。本文总结了Hive命令行的常见用法，能够帮助读者快速了解和学习Hive。

学习一种新的技术，在深入技术细节之前，首先需要了解这项技术的产生的背景，了解技术的总体框架。本文介绍了Hadoop基本概念、Hadoop重要模块、守护进程，以使读者能够对Hadoop有一个总体的认识。

本文介绍了Hadoop 2.7.x常用的配置文件，并结合Hadoop的不同工作模式介绍其基本的配置。

本文介绍URI的基本格式，并结合Hadoop 2.7.x相关HDFS命令，讲解在与HDFS交互中如何指定文件和目录确切位置的URI。

MapReduce是一种可用于数据处理的编程模型。MapReduce程序本质上是并行运行的，优势在于处理大规模数据集。本文介绍了Hadoop MapReduce的架构，并结合具体例子介绍MapReduce的工作过程，以更深入的了解MapReduce。

单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。在MapReduce开发中，如何能对Mapper和Reducer进行详尽的单元测试，能够及早发现问题，加快开发进度。 本文结合具体的例子，简单总结如何使用MRUnit来对Hadoop的Mapper和Reducer进行单元测试。本文的相关代码可以从Github获取：https://github.com/liujinguang/hadoop-study.git

本文介绍了在Ubuntu环境下，如何搭建Hadoop的Eclipse开发环境，并以实际的例子为例，演示应用具体的开发步骤。Hadoop伪分布式运行环境的配置，不算复杂，可以参考个人整理的在Ubuntu环境下搭建Hadoop伪分布式模式运行环境。

本文以使用URLStreamHandler来将Hadoop文件系统中的文件显示的标准输出的例子，来讲解如何定位和解决Connection Refused和FileNotFoundException问题。本例子中使用的Hadoop 2.7.3版本。

简介本文主要介绍客户端及与之交互的HDFS、NameNode和DataNode之间的数据流的工作机制。NameNode和DataNode介绍在了解数据流工作机制之前，我们先来了解一下NameNode和DataNode。HDFS集群有两类节点以管理者-工作者模式运行，即一个NameNode和多个DataNode。NameNode管理文件系统的命名空间，维护文件系统树及整棵树内

Hadoop 2.7.x伪分布式运行环境下，由于NameNode重新格式化后，导致DataNode无法正常启动。本文总结了此问题的解决方法和思路，供个人参考。

本文介绍了在Ubuntu 16.04 TLS系统上，如何安装和配置Hadoop 2.7.3的伪分布式模式。

本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。

本文介绍了Hive的起源，基本的功能特性，应用场景，并对Hive主要服务进行介绍，通过阅读本文，读者可以对Hive有基本的了解。