
hadoop相关
wuwenjunwwj
这个作者很懒,什么都没留下…
展开
-
hbase shell 操作
注意:1: 区分大小写2: 单引号、双引号原创 2014-07-29 10:49:42 · 491 阅读 · 0 评论 -
淘宝主搜索离线集群完成hadoop2.0升级
索离线dump集群(hadoop&hbase)2013进行了几次重大升级:2013-04第一阶段,主要是升级hdfs为2.0版本,mapreduce仍旧是1.0;同时hbase也进行了一次重大升级(0.94.5版本),hive升级到0.9.0;2013-09,2013-12第二阶段,主要升级mapreduce到2.0版本即(YARN),hive升级到0.10转载 2014-07-29 12:04:51 · 640 阅读 · 0 评论 -
hbase简介
一、 简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hado转载 2014-07-29 10:50:21 · 481 阅读 · 0 评论 -
更快、更强——解析Hadoop新一代MapReduce框架Yarn
文介绍了Hadoop 自0.23.0版本后新的MapReduce框架(Yarn)原理、优势、运作机制和配置方法等;着重介绍新的Yarn框架相对于原框架的差异及改进。编者按:对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,随着需求的发展,Yarn 框架浮出水面,@依然光荣复兴的 博客给我们做转载 2014-09-04 13:59:12 · 611 阅读 · 0 评论 -
hadoop 客户端配置问题备忘----持续添加
1:启动任务,提示/tmp/** 磁盘满该问题不是hadoop集群上某个节点的磁盘满,原因是:起任务的时候,会把需要上传到hdfs上的jar包,和一些file 等文件全部压缩放在该目录下,然后上传上hadoop集群上,可以修改core_site.xml 的hadoop.tmp.dir 来进行配置(默认没有改配置项,放在/tmp下)。2:原创 2015-02-05 13:01:33 · 449 阅读 · 0 评论