xuanjiewu的专栏

转自：http://cloud.hdu.edu.cn/wiki/index.php/Hadoop第一期：淘宝Hadoop集群的概况国内外使用Hadoop的公司比较多，全球最大的Hadoop集群在雅虎，有大约25，000个节点，主要用于支持广告系统与网页搜索。国内用Hadoop的主要有百度、淘宝、网易、华为、中国移动等，其中淘宝的Hadoop集群属于较大的（如果不是最

今天配置完 Hadoop 运行Hadoop命令 hadoop fs -ls 时出现：bash:haoop:command not found后来经过检查，原来是配置文件中 HADOOP_HOME 变量引用前少了个$，修改完毕后可以正常运行了。vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.7.0_75export HADOOP_

今天在 start-all.sh 启动 Hadoop时出现了很多这样的异常信息： “ssh: Could not resolve hostname you: Temporary failure in name resolution”解决办法：在 /etc/profile 中添加如下信息：export HADOOP_COMMON_LIB_NATIVE_DI

转自：http://www.itnose.net/detail/6292234.html什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。 2、Hadoop的进程间交互都是通过RPC来进行的，比如Nameno

MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，一般运行

转自：http://shinepaopao.iteye.com/blog/20036201. Hadoop集群可以运行的3个模式• 单机（本地）模式• 伪分布式模式• 全分布式模式2.  单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程

转自：http://blog.youkuaiyun.com/yclzh0522/article/details/6859778 我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符

英文出处：Shekhar Gulati。欢迎加入翻译组。昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的工作之后，我们在Xebia印度办公室享用了丰盛的