haoop
iuie_sl
好好睡觉,好好敲代码
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
第一个hadoop程序
1:安装ubuntu并在ubuntu中安装hadoop 参考链接:http://www.powerxing.com/install-hadoop/ 2:安装eclispe并且在eclipse中安装hadoop插件 参考链接:https://my.oschina.net/muou/blog/408543 我用的版本是hadoop2.6 ,eclispe是kepper的,用ant编译hadoop原创 2017-03-07 16:16:24 · 410 阅读 · 0 评论 -
MapReduce和HDFS
MapReduce的工作机制 简单分为3部 1)MapReduce作业的提交 客户端进行编码运行后,客户端会先向JobTracker请求一个Job ID 请求后JobTracker会创建这个Job id,检查job的输入输出目录,检查分片情况,如果出现异常将停止运行抛出异常, JobClient将运行作业所需要的资源(Jar文件,配置文件和计算所得输入分片)复制到一个作业ID命名的目录下JobT原创 2017-03-10 17:31:57 · 1456 阅读 · 0 评论
分享