oslo---let's go

在linux环境下hadoop2.X完全分布式搭建http://blog.youkuaiyun.com/u012480384/article/details/40514359最近在搭建hadoop集群，由于不断有师弟想加入到里面，所以不断要添加节点。这里总结一下：总思路：要添加的节点与集群中的所有节点都配置无密码登陆。在master的机器上，修改/etc/hos

本文介绍的是如何将Apache Spark部署到Hadoop 2.4.1上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。需要注意两点：（1）使用的Hadoop必须是2.0系列，比如0.23.x，2.0.x，2.x.x或CDH4、CDH5等，将Spark运行在Hadoop上，本质上是将Spark运行在Hadoop YARN上，因为Spark自身只提供了作业管理功能，资

一、前言最近看了一些关于hadoop的内容，作为一个非常棒的开源项目，阅读与编译源码是一些基本工作。所以在网上找了一些资料实现了一下。感谢大牛们的无私共享与指导。Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。

hadoop完全分布式配置。过程大致如下：1.创建新用户并添加到sudoers2.更改hosts,hostname文件3.安装jdk,并配置环境变量4.设置ssh无密码登录5.hadoop安装，设置文件1.创建新用户$ adduser hadoop$ sudo vi /etc/sudoers在# User privileg