t0m的专栏

环境搭建参照上一篇hadoop2.7.2 win7基础环境搭建。Eclipse hadoop插件下载2.7.2：http://download.youkuaiyun.com/detail/fly_leopard/9503172将下载的文件解压，将jar包放到Eclipse/plugin下，重启Eclipse。project视图多了一个DFS Locations。浏览或者下载hadoop上的文件。下

1. 服务器环境         CentOS 6.5 服务器两台  Master节点/Slave节点          2. 软件环境          Java JDK1.7    Hadoop2.7.23. 为Hadoop单独配置用户    root 用户登陆 依次执行下列命令：        //新建用户名为hadoop的用户

CentOS  6.5服务器两台主机(hadoopMaster) : 10.144.255.45   -namenode 主机(hadoopSlave114...)   :  10.163.189.82   -datanode1.分别登陆两台服务器修改 /etc/hosts内映射文件（主要为后续hadoop配置使用主机名准备的)     hadoopMaster :(红色部

CentOS  6.5服务器两台主机(hadoopMaster) : 10.144.255.45   -namenode 主机(hadoopSlave114...)   :  10.163.189.82   -datanode下载Hadoop安装文件xxxx.tar.gz放一份到Master上，各个slave从master上复制并稍加修改即可。1. 解压 tar

1. 运行示例程序卡在：INFO mapreduce.Job: Running job: ..    此类问题网上多数是两种情况，/etc/hosts文件问题或者yarn-site.xml配置问题。    我遇到的是hosts内127.0.0.1  localhost导致的无法连接或者loop循环出现：    Retrying connect to server: localhost/

hadoop环境搭建相对麻烦，需要安装虚拟机过着cygwin什么的，所以通过查资料和摸索，在window上搭建了一个，不需要虚拟机和cygwin依赖，相对简便很多。下面运行步骤除了配置文件有部分改动，其他都是参照hadoop下载解压的share/doc/index.html。hadoop下载：http://apache.opencas.org/hadoop/common

Hadoop有一个本地作业运行器，可以使MapReduce执行引擎在本地的单个JVM上运行作业，主要设计用于测试本地代码，可以进行调试等操作。本地运行与服务器上最大区别就是不能运行多个reducer，只能运行使用本地作业运行器只需要通过配置一个参数即可，就是mapreduce.jobtracker.address值设置为local就会运行本地不访问外部jobtracker，默认

上一篇说到的方式采用的hadoop-local.xml中的配置，在执行是设置了Program Arguments，如果嫌麻烦，还有一种思路，在代码里写配置如下：效果和原理上一篇中的一样，不过改成了写到代码里。 public static void main(String[] args) throws Exception { //配置本地模式 Configuration conf = n

已安装的Hadoop机器上运行Hadoop className命令         Error: Could not find or load main class ListStatus         对于写好的包含main方法的java文件，将class编译文件放到服务器上执行，使用Hadoop xxxx 参数1 参数2 ...    参数部分是main方法的的args，