LV_ZFG的博客

在了解了hfds的底层执行之后，也知道它存在的一些问题，第一单点故障，第二内存的硬件限制，最后就是mapreduce 的计算机制造成了资源的空闲浪费。，对于以上存在的问题，虽然mapreduce是一个很好的大数据处理的计算框架，但是，为了追求最好的运行效率，当遇到特别巨大的运算等特殊情况时所可以得到的最好的处理结果，Hadoop在MapReduce的基础上加以改进提出了yarn集群的管理概念Y...

在Hadoop的存储处理方面提供了两种不同的机制，一种是之前介绍过的Hbase，另外一种就是Hive，有关于Hbase，它是一种nosql数据库的一种，是一种数据库，基于分布式的列式存储，适合海量数据的操作，，底层依赖HDFS，与rdbms的区别和其他的nosql基本类似，例如不支持sql语句对于数据进行操作，具体的关于Hbase的细节可以去参考我的上一篇博客，今天我们会通过hive和Hbase的...

在大数据的发展过程中，出现了一批专门应用与大数据的处理分析工具，如Hadoop，Hbase，Hive，Spark等，我们先从最基础的Hadoop开始进行介绍Hadoop是apache基金会下所开发的分布式基础架构，实现了一个分布式文件系统（HDFS），HDFS拥有高容错性、高可靠性、高扩展性、高效性、低成本的特性，可以让用户在不了解相关的底层源码的情况下，在廉价的机器上搭配一台完整的服务器进行...

Zookeeper每一个专业的技术总可以在生活中找到相应的实例，就比如说zookeeper，攘其外必先安其内就很好的解释了zookeeper，Hadoop集群的组件中的很多在学习的时候都会觉得每一个都不稳定，都会出现这样那样的问题，会常常听到的一个词语就是高可用，在zookeeper的官方定义的时候在集群出现故障到解决故障正常执行的间隔时间小于200ms，在我们看来就是整个集群一直可用的错觉...

Hadoop其它组成角色介绍--Hbase在阿帕奇的官方网站上，对于HBASE的定义是他是Hadoop的的第一个分布式，可扩展的大数据存储的数据库，他的目标是将非常大的表托管到一个集群中进行相应的存储，区别于的MySQL等数据库，它是一个非关系型数据库，但是不支持的SQL语句的编写HBase的的架构（RPC：通过一种网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议）客...

再介绍了之前的hadoop以及spark的相关组件之后，就像一辆汽车一样，只有将所有的组件进行组装之后他才可以正常的上路，在公路上疾驶，今天我们就将之前的组件进行一个简单的安装首先是油箱--分布式存储在当今社会，数据量越来越大，就像女孩子看电视剧一样，我把你喜欢的电视剧、电影等等的视频资源全给你，一共10PB，只有一次的存储机会，那我们应该怎么存储呢？赵本山说过把一只大象存入冰箱一共需要三...