didadidadige的专栏

一、需要软件ubuntu14.04LTShadoop2.6.0jdkeclipse二、环境配置2.1修改bashrc文件sudo gedit ~/.bashrcjava环境配置，添加以下内容export JAVA_HOME=/home/dida/jdk1.7.0_75   export JRE_HO

在VMWare中构建第二、三台虚拟机，机器命名为Slave1、Slave2 在/etc/hostname中修改主机名vim /etc/hostname修改为Master、Slave1、Slave2，重启后生效step1：在各主机中修改主机名与ip对应关系打开/etc/hosts 修改成如下所示 测试连接Masterping Master在Slave1、Slave2中增加所有ip与

文件操作 查看目录文件 $ hadoop dfs -ls /dida/input创建文件目录 $ hadoop dfs -mkdir /dida/input删除文件 $ hadoop dfs -rm /dida/input/a.txt删除目录与目录下所有文件 $ hadoop dfs -rmr /dida/output上传文件 上传一个本机/home/dida/hadoop/input/f1.t

org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container问题原因：namenode,datanode时间同步问题解决办法：多个datanode与namenode进行时间同步，在每台服务器执行：ntpdate time.nist.gov，确认时间同步成功。最好在

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

1. 2.x中使用MapReduce JobHistory Server，端口号默认为19888，地址由参数mapreduce.jobhistory.webapp.address配置管理 使用命令mapred historyserver启动 2. 使用eclipse上传数据到集群时候，没有权限，需要在hdfs-site.xml添加 dfs.permissions 为false，最好也修改ch