- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce 作业提交执行过程代码分析（Hadoop 1.2.1）
MR工作过程大致分为以下几步： 1：作业配置 2：提交作业 2.1：从JobTracker获取新的JobID。 2.2：将该Job相关的资源（jar，libjars）发送到JobTracker。 2.3：计算输入分片。 2.4：将job.xml发送到JobTrack。 这样就将Job发送给JobTracker。 3：作业初始化 3.1：将接收到的Job放到队列中并生成与之对应的
2016-03-30 19:06:22
413
转载 Hadoop的namenode datanode无法启动
namenode没有启动 最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录
2016-03-15 13:55:26
335
原创 ssh localhost 老是要输入密码
问题描述： 在Ubuntu 下安装 ssh 和设置免密码登录后，ssh 127.0.0.1 和 ip 地址都不用输出密码，可以直接登录，但是ssh localhost 却需要输入密码. 解决方法： 在 /etc/hosts 里面没有配置 127.0.0.1 localhost 映射，Ubuntu 默认将 localhost 匹配 ipv6 的 地址
2016-03-15 10:51:43
1446
转载 hadoop默认参数
1 常用的端口配置 1.1 HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://
2016-03-15 10:41:29
309
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人