private_class的专栏

Hadoop读过程分析

NameNode启动过程详细剖析NameNode中几个关键的数据结构FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时

在前面我们已经搭建出来了Hadoop的开发环境，又实现了Eclipse插件的编译，现在我们就用使用Hadoop运行一下其自带的WordCount程序，以初步了解一些Hadoop是怎么运行的，我们采取两种方式运行这个小程序，首先是在Eclipse的环境中将WordCount程序直接运行到Hadoop上然后观察结果，然后再将WordCount程序打成jar包使用hadoop命令进行运行测试下面我们

搭建好Hadoo的运行环境之后，我们可以使用eclipse，尝试使用FileSystem的API对HDFS进行文件和文件夹的操作。以下代码对FileSystem常用API进行了实践，使用Junit进行API的测试首先是创建一个普通的Java工程，并把Hadoop所依赖的包导入，主要包括hadoop/lib和hadoop的core包项目目录如下：测试用例代码：pack

Linux下hadoop的安装其实难度不大，按照hadoop官方所提供的文档就可完成，本次实践所采用的环境如下：操作系统：Ubuntu 12.04 64位的版本JDK：1.6.0_45，64位版本Hadoop：1.2.1首先是分别下载所需的软件版本jdk-6u45-linux-x64.binhadoop-1.2.1.tar.gz1.加压hadoop的gz包t

由于hadoop后来的版本不再直接提供eclipse的开发插件，只提供了源码，所以需要自己动手进行编译，在网上找了一些例子，自己使用起来发现都有些问题，下面根据网上参考的和自己的实践总结如下：环境：win7 64位系统hadoop版本：稳定版1.2.1eclipse版本：4.31. 首先是在apache官网上下载1.2.1版本的源码包，然后进行解压2.使用使用eclipse将源

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前...如今Apache Hadoop已