Mr.稻 帅（梦想如歌！）

今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。 1、 为什么hdfs能存储海量数据呢？ 一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，

因为一些缘故，这节内容到现在才写，其实弄hadoop有一段时间了，可以编写一些小程序了，今天来还是来说说环境的搭建.... 说明一下：这篇文章的步骤是接上一篇的hadoop文章的：http://blog.youkuaiyun.com/enson16855/article/details/37725771 ，如果不是按照上篇的方式安装hadoop，可能会有些错误~百度一下就能解决的哈~ 准备环境： 不用多

转载地址：http://bbs.youkuaiyun.com/topics/390811949 Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位； 要想成为Spark高手，需要经历一下阶段： 第一阶段：熟练的掌握Scala语言 1， Spark框架是采用Scala

今天总算是八hadoop2.4的整个开发环境弄好了，包含 windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~ 先上一张成功的图片，hadoop的伪分布式安装配置，只要按照步骤来，有点基础的 基本没什么问题的。。eclipse的配置 弄了很长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。 今天来说说

今天来说说编译hadoop源码的事情吧~ 1、首先下载源码 地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ 2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop tar zxvf hadoop-2.4.0-src.tar.gz 3、Linux编译环境准备 java环境

首先确定系统是否安装了ssh服务，如果没有则可以使用yum进行安装，参照前面关于yum使用的文章。 1、使用以下命令进行查看： ssh -version 2、查看用户主目录下是否有.ssh文件夹（为隐藏文件夹）,其中javen为本人系统用户主文件夹名称 ll /home/javen/.ssh/没有的话就自行创建 mkdir /home/javen/.ssh 3、生成私钥和公钥

关于hadoop的发展和历史以及简介，这样的废话就不说，简而言之就一句话，开源的分布式云计算。 目前鄙人使用的是hadoop-1.0.4，下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.0.4/ 下载 hadoop-1.0.4.tar.gz 即可。 解压即可。 先对伪分布式的概念进行说明一下，整个环境的配置是基于lin