thisisvoa的专栏

背景： Doug Cutting开创的开源软件，用java书写代码，实现类似google的搜索。 2003-2004年，google公开了部分GFS和Mapreduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现DFS和Mapreduce机制。 Yahoo诏安Doug Cutting及其项目 Hadoop于2005年秋天作为Lucene的子项

前言：  hadoop每一次修改，并不改变原来的数据，而是增加一行。 删除也不是删除数据，而是增加一个记号，某一个行间被删除了。 hbase是基于hdfs文件系统。 Hbase安装：单机模式 下载及解压hbase安装包 修改conf/hbase-env.sh脚本，设置环境变量 编辑hbase-site.xml进行配置 启动Hbase

build   hadoop 23 真的是千辛万苦，错误贴出来 [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT:protoc (compile-protoc) on project hadoop-c [Help 1] org.apache.maven.lifec

先决条件 1.先决条件，先安装好hadoop、sun-jdk、ssh etc 2.jdk1.5+，必须安装。 3.ssh本息安装并且保证sshd一直运行。 准备工作 操作系统：ubuntu 我有两台机器：分别是  172.21.77.119 ，和172.21.78.63 两台物理ubuntu服务器。 准备机器：一台master、若干台s

1 编译 mvn clean install -Dmaven.test.skip=true [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 36.016s [INFO] Finished

1  .下载hadoop 0.23版本 git clone ....... git checkout ...... git branch ..... git checkout branch_XX 2. 进入branch目录 查看内容 vi  buildXXXX.txt Build instructions for Hadoop ---

解决办法： 1.首先，看是否安装了cygwin，如果没有安装，直接到http://www.cygwin.com/下载。 2.其次，如果安装好了，cygwin，配置好环境变量，并且配置到当前用户。 3.就可以了，配置好main方法的args，hdfs://feixiang:9000/user/hadoop/input  hdfs://feixiang:9000/user

hadoop编译错误 mvn   eclipse:eclipse  [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ....................

一.安装ubuntu   我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机上在安装虚拟机，然后安装ubuntu 具体安装过程就不描述了，不过安装过程确实慢，除非你的网络很快。12.04的新主题使用真是别扭，在登陆界面切换到gonme classic，这里可以使用windows共享，可以很方便的从硬盘或者其他机器拉东西回来。  

由于本人愚笨，光阴似箭、日月如梭、随着年龄的增长，看着那么多大牛，写出了那么多知名的框架，对于框架的知识，不仅仅想知道怎么去使用它，还想为什么别人是这样 设计，这样声明类和接口，就好比刚刚开始看的HDFS文件系统一样，为什么会有Fimage类对象和edits对象。 我脑子里面总是在想，很多事情是从简单到复杂的，看hadoop的代码也是，所以我就从hadoop的最简单、最基础的地方开始。我首先下