
Hbase
马超的博客
Stay Hungry, Stay Foolish
展开
-
Hbase重要概念详述
Hbase Master的主要作用: 1.为Region Server 分配 Region。 2.负责Region Server 的负载均衡。 3.发现失效的Region Server并重新分配其上的Region。 4.管理用户对table 的增删改查操作。 HBase的特点:1.大:一个表可以有数十亿行,上百万列。 2.无模式:每行都有一个可排序的主键和任意多的列,列可以 根原创 2016-06-20 21:52:20 · 690 阅读 · 0 评论 -
Spark程序设计——基本流程
一、基本流程 1.创建SparkContext对象 ——封装了spark执行环境信息 2.创建RDD ——可从Scala集合或Hadoop数据集上创建 3.在RDD之上进行转换和action ——Spark提供了多种转换和action函数 4.返回结果 ——保存到HDFS中,或直接打印出来二、代码示例(一)创建SparkContext(spark程序中只能有一个) 1.创建conf原创 2016-10-16 23:04:29 · 1179 阅读 · 0 评论