
hadoop
文章平均质量分 59
ehadoop
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何把hadoop源码关联到Eclipse工程
在eclipse中阅读源码非常方便,为了方便我们平时的学习,下面讲述如何把hadoop源码导入到eclpse的java工程中。 1、解压源码 首先,我们在windows下使用winRar把hadoop-1.0.4.tar.gz解压,如图1所示: 图1 解压源码 我们关注文件夹src,浏览该文件夹,如图2所示: 图2 src文件夹 我们需要这三个文件原创 2014-03-10 13:17:42 · 1766 阅读 · 0 评论 -
Hadoop和HBase版本的匹配
hadoop版本和hbase版本之间必须遵循一定的搭配原则, 否则可能会报错,具体匹配规则如下图: 温馨提示:欢迎大家加入技术交流qq群:370833141。141原创 2014-03-20 23:53:32 · 2019 阅读 · 0 评论 -
hadoop的伪分布安装
温馨提示:欢迎加入hadoop技术交流QQ群:338485052. hadoop有3种安装模式,分别是:本地模式、伪分布模式、集群模式。 本文在这里只介绍伪分布安装模式。 温馨提示:有意向进一步学习hadoop的伙伴,欢迎加qq:1040195253交流。 1、 设置IP地址 执行命令:service network restart 验证:ifc原创 2014-03-09 23:25:59 · 1112 阅读 · 0 评论 -
Hadoop MapReduce作业的生命周期
首先,我们来看如下的一张图: 作业的整个运行过程分为5个步骤: 1、作业的提交和初始化。 用户提交作业后,由JobClient实例将作业相关信息(jar包、配置文件xml、分片元信息等)上传到HDFS。 然后,JobClient通过RPC通知JobTracker。JobTracker接收到新作业请求后,由作业调度模块对作业进行初始化, 为作业创建一个JobInProgre原创 2014-03-10 22:23:26 · 1532 阅读 · 0 评论 -
Hadoop虽强大,但不是万能的
温馨提示:欢迎加入hadoop技术交流QQ群:338485052. 注:本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/ Hadoop是一个分布式海量数据计算的伟大框架。但是,hadoop并不是万能的。比如,以下场景就不适合用hadoop: 1、低延迟数据访问 需要实时查询并在翻译 2014-02-26 23:15:18 · 840 阅读 · 0 评论 -
HDFS分布式文件系统
温馨提示:欢迎加入hadoop技术交流QQ群:338485052. 一、HDFS的简介 1、相关概念 (1)Block HDFS中的块Block是个抽象的概念,它比一般文件系统中的块要大得多。 当我们在配置Hadoop系统参数时会看到,HDFS默认的Block为64MB。 HDFS分布式文件系统的文件也被分成块进行存储,这是文件存储处理 的基本逻辑单元。 HDF原创 2014-02-28 01:16:56 · 1121 阅读 · 0 评论 -
Hadoop MapReduce架构简介
温馨提示:欢迎加入hadoop技术交流QQ群:338485052. MapReduce采用主从结构,JobTracker作为主节点,TaskTracker作为从节点。 其架构图详见图1所示: 图1 MapReduce架构图 1、Client 用户编写的MapReduce程序通过Client提交到JobT原创 2014-03-09 15:23:10 · 1188 阅读 · 0 评论