
大数据
大大kc
今日事,今日毕
展开
-
HBase总结(十三)HBase Shell 常用命令及例子
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create ‘表名称’, ‘列名称1’,’列名称2’,’列名称N’添加记录 put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’查看记录get ‘表名称’, ‘行名称’查看表中的记录总数count ’表名称’删除记录delete转载 2017-05-24 20:54:04 · 340 阅读 · 0 评论 -
大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
纯干货:Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足,后续及时修改。HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的转载 2017-05-24 21:20:27 · 1199 阅读 · 0 评论 -
SparkSQL与Hive on Spark的比较
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中,Spark和MapReduce在同一个层级,即主要解决分布式计算框架的问题。架构Spark的架构如下图所示,主要包含四大组件:Driver、Master、Worker和Executor。Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用转载 2017-05-24 21:34:23 · 739 阅读 · 0 评论 -
解析Spark在腾讯、雅虎、优酷的成功应用
摘要: spark的优势:(1)图计算,迭代计算(2)交互式查询计算spark特点:(1)分布式并行计算框架(2)内存计算,不仅数据加载到内存,中间结果也存储内存为了满足挖掘分析与交互式实时查询的计算需求,腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询计算以及允许误差范围的快速查询计算,目前腾讯大数据拥有超过200台的Spark集群,并独立维护Spark和Shark分支。Spa转载 2017-05-24 22:19:15 · 763 阅读 · 0 评论 -
Elasticsearch基础教程
Elasticsearch基础教程 翻译:潘飞(tinylambda@gmail.com)基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时(NRT) Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。转载 2017-05-29 10:11:15 · 528 阅读 · 0 评论 -
Kafka从入门到实践
一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服转载 2017-05-02 15:47:00 · 1200 阅读 · 0 评论