
Hadoop学习之路
csuzhaojian
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
利用eclipse 新建hadoop的WordCount项目
一:打开elipse 点击【File】—>【Project】,选择【Map/Reduce Project】,输入项目名称WordCount,一直回车 二:在项目中新建WordCount.java文件代码如下: import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.co原创 2017-10-23 16:12:45 · 873 阅读 · 0 评论 -
Eclipse搭建hadoop开发平台
安装之前下载所需软件: eclipse:https://pan.baidu.com/s/1mixItJU jre下载:https://pan.baidu.com/s/1mixItJU Hadoop2.7.1插件下载:http://download.youkuaiyun.com/download/u013387787/10036394 安装Eclipse:下载后解压即可 安装Hado原创 2017-10-23 15:57:49 · 318 阅读 · 0 评论 -
Hadoop2.7.3完全分布式集群搭建和测试
转载至:http://blog.youkuaiyun.com/xiaoxiangzi222/article/details/52757168 1.安装虚拟机 在VM上安装下载好的Ubuntu的系统,具体过程自行百度。可以安装完一个以后克隆,但是本人安装过程中遇到很多问题,经常需要删除虚拟机,重新安装,而被克隆的虚拟机不能删除,所以本人就用了很长时候,一个一个安装。 一共3台虚拟机:分配情况和I转载 2017-10-23 15:39:37 · 496 阅读 · 0 评论 -
Ubuntu 搭建hadoop平台
一、准备工作 1、所需软件 虚拟机 vmware workstation 11 系统:Ubuntu14.04(64位) Java jdk:jdk1.8.5 Hadoop:hadoop-2.5.1 2、安装jdk,配置java环境 (1)将本地的jdk-8u25-linux-x64.tar复制master的/home/hadoop目录下。 (2)通过快捷键ctrl+a原创 2017-10-15 17:01:24 · 418 阅读 · 0 评论 -
MapReduce组合式,迭代式,链式
1.迭代式mapreduce 一些复杂的任务难以用一次MapReduce处理完成,需要多次 MapReduce 才能完成任务,例如Pagrank,K-means算法都需要多次的迭代,关于 MapReduce 迭代在Mahout中运用较多。有兴趣的可以参考一下Mahout的源码。 在MapReduce的迭代思想,类似for循环,前一个 MapReduce转载 2017-10-26 14:54:46 · 265 阅读 · 0 评论