橙子的博客

最近在学Hadoop，学习Hadoop第一步当然是搭建环境。因为刚开始接触Hadoop，加之对Linux命令行不熟悉。完全搭建好这个环境用了两天的时间。虽然搭建好这个环境只是第一步，但是我感觉还是收获很多，比如对Linux的操作，其中最让我头疼的是Linux权限问题。搭建过程中操作一般都是对的，因为开始用的是root用户，所以切换到普通用户老是报拒绝操作。所以我频换的切换用户进行权限更改，下次再搭

1、MapReduce理论简介   1.1 MapReduce编程模型 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

启动Hadoop 进入HADOOP_HOME目录。执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。执行sh bin/stop-all.sh   1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件