leaderYU的专栏

折腾了蛮久，参看了网上很多博客文章，我的hadoop环境终于搭建起来。现在回想起来，好像也没有什么难的，不过一步步照着来就是了。但是最初搭建的时候确实遇到了很多问题。现在就自己能记得的，把重要的步骤记录一下。准备工作：hadoop-0.20.2、jdk-7u45-linux-x64、VMware-workstation-full-v10.0.0-1295980、ubuntu-12.04-des

前面配置好hadoop后，在使用中发现一个问题。就是每次启动都需要格式化，不然namenode就无法启动。在网上找到了相应的解决方法http://blog.youkuaiyun.com/bychjzh/article/details/7830508内容如下：  最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动        每次开机都得重新格式化一下

[+]名字起源起源诸多优点架构HDFSNameNodeDataNode文件操作Linux 集群集群系统应用程序Hadoop系统安装于配置海量数据处理平台架构介绍Hadoop能解决哪些问题Hadoop在国内的情景Hadoop简介Hadoop生态系统介绍HDFS简介HDFS设计原则HDFS系统结构HDFS文件权限HDFS文件读取HDFS文件写入HDFS文件存储HDFS文件存

Hadoop -- MapReduce过程（转载自http://blog.sina.com.cn/s/blog_61ef49250100uul8.html）    昨天我们对MapReduce作了大概了解，知道它如何进行数据处理。今天我们走进MapReduce，分析MapReduce源代码，看看它到底是如何实现的，我们会根据数据流动的顺序来进行分析 :-)1.读取数

今天想用数据输入格式KeyValueInputFormat，API文档上的方法，我使用job.setInputFormatClass(KeyValueTextInputFormat.class);结果却报错The method setInputFormatClass(Class) in the type Job is not applicable for the arguments (Class)

1、1TB（或1分钟）排序的冠军 作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14

之前发现安装了eclipse hadoop 插件后，多了一个run on hadoop，但是

折腾了好几个小时，终于搭建好了Hadoop集群环境。主要参考了下面这篇博客（http://blog.youkuaiyun.com/flyqwang/article/details/7244552），表示感谢。在按照这篇博客进行操作的过程中主要遇到了这几个问题（都是些小问题，但是很折腾人。）1、我是直接复制了那篇博客里对那几个文件的配置，出现错误后，我发现，原来博主的配置文件内容有一个小错误，格式也

今天写了一个mapreduce程序，运行一直是io异常，经调试觉得错误很诡异，无法理解。折腾了