
hadoop
文章平均质量分 79
普通网友
这个作者很懒,什么都没留下…
展开
-
hadoop版本及cloudera的CDH3 CDH4
hadoop有两个分支:0.20.x 和0.23.x。其中0.20.x是比较稳定的版本,0.23.x中新特性更多,但相对不稳定。 其中从0.20.x 分支发展出来的是:hadoop1.0,CDH3 从0.23.x 分支发展出来的是:hadoop-alpha,CDH4 下面具体说hadoop1.0、2.0 和CDH3、CDH4: Apache Hadoop 2012年1...原创 2013-04-10 18:34:41 · 134 阅读 · 0 评论 -
debian 安装cloudera CDH3
1.安装jdk(略) 2.蒋下面两行加到文件/etc/apt/sources.list.d/cloudera.list 查看debian 的 name of your distributio lsb_release -c deb http://archive.cloudera.com/debian squeeze-cdh3 contrib deb-src http://a...原创 2013-04-10 19:10:40 · 162 阅读 · 0 评论 -
hive输出格式转化,本例以json为例
hive默认是以tab为分隔符,分隔各个输出字段,如 hive> select get_json_object(json.value,'$.hour'),get_json_object(json.value,"$.channel") from json limit 10; Total MapReduce jobs = 1 Launching Job 1 out of 1 Numb...原创 2013-05-15 10:10:41 · 884 阅读 · 0 评论 -
hive优化
hive 优化——深入浅出学Hive 转载出处【 http://sishuok.com/forum/blogPost/list/0/6229.html】 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 ...原创 2013-07-03 17:07:39 · 586 阅读 · 0 评论 -
quorum机制
分布式系统的设计中会涉及到许多的协议、机制用来解决可靠性问题、数据一致性问题等,Quorum 机制就是其中的一种。我们通过分布式系统中的读写模型来简单介绍它。 分布式系统中的读写模型 分布式系统是由多个节点(指代一台服务器、存储设备等)构成,由于网络异常、宕机等节点并不能保证正常工作,特别是在节点数量很大的时候,出现异常状况的节点几乎是肯定的。为了保证系统的正常运行,能够提供可靠...原创 2014-02-11 10:25:23 · 146 阅读 · 0 评论