今天去学校里的研究生实验室看了下视频大数据处理这块，其中要用到hadoop技术，自己对分布式开发虽然不了解，但是感觉很感兴趣。研2的学长人很好，愿意带着我跟他们一起做项目。确实有点压力，但是努力吧。。        言归正传，配置过程主要分为两步1：jdk的配置。详情请看jdk的配置2：hadoop的安装  下载地址 http://labs.xiaonei.com/apache-mir

3. 安装Hadoop开发插件：下载hadoop-1.0.3-eclipse-plugin.jar(http://ishare.iask.sina.com.cn/f/24669534.html)拷贝到myeclipseeclipse根目录下/dropins目录下：4. 启动Eclipse，打开Perspective：【Window】->【Open Perspec

1. 经典的WordCound程序（WordCount.java）import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.util.StringTokenizer;import org.apache.hado

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

Hadoop的核心组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线        MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapping任务都是平等的：mappers没有特定“标识物”与其关联。因此，任意的mappe

前天阿里电面问到对hadoop平台的了解，虽然以前接触过一段时间，但几乎都忘了，所以悲剧了。今天重新来复习下基础知识吧，毕竟现在不懂点hadoop说不过去。什么是Hadoop？--------------------------------------------hadoop一个用于在普通硬件构成 的大集群上运行应用程序的框架。Hadoop框架透明地为应用程序提供可靠性