cjf_wei的博客

本文介绍如何配置和安装单节点的Hadoop伪集群，在单节点的集群上，同样可以操作Hadoop分布式文件系统(HDFS)，以及执行Hadoop MapReduce。

本文介绍Java API访问HDFS，实现文件的读写，文件系统的操作等。开发环境为eclipse，开发时所依赖的jar包，可在Hadoop安装目录下找到。Demopackage com.test.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import

本文介绍使用Hadoop的C API访问HDFS，实现hdfs文件的读写，目录的读取等操作。文章使用的hadoop为单节点伪集群，安装方式及相关的配置说明参见前序文章（Hadoop安装-单节点伪集群）http://blog.youkuaiyun.com/cjf_wei/article/details/75882977。

MapReduce是一种可用于并行处理大规模集群上的海量数据的编程模型。它的出现使得并行处理海量数据变的更容易，容错性更高。本文借助wordcount程序介绍MapReduce的一些基本知识。本文在Eclipse环境中开发，然后编译成jar包，放单节点的伪集群中运行。

程序开发中，经常需要将程序执行中的相关参数进行可配置化，以实现程序的灵活性。在Hadoop环境下编程，也有同样的需求。本文介绍在MapReduce编程中，怎样使用Configuration类读取相关配置。这些配置可能不仅仅在Job配置时需要，有些配置还要在Map或者Reduce编程间传递。

之前分别介绍了使用Hadoop的C API操作HDFS和使用Hadoop的Java API操作HDFS，在介绍Java访问方式时（C API不存在这样的问题），程序是部署在Hadoop安装环境的，这具有一定的局限性，因为客户端不可能总是运行在Hadoop安装节点上。本文介绍以Java方式远程访问/操作HDFS。在Hadoop安装环境中和远程访问的主要区别在于Hadoop环境配置的获取和程序的执...

之前读《HBase权威指南》在实践时，发现API已经发生了一些变化，查阅官方文档，确任HBase的API在1.0版本后已经做了修改。本文介绍在新API下，使用Java访问HBase的方法。 HBase Client通过查询hbase:meta表来确定你所感兴趣的数据行所在的RegionServers。在定位到这些数据所在的region后，client会直接和这些region所在的RegionSe...