南北雪树的专栏

参考：http://blog.youkuaiyun.com/yuebanwa/article/details/54614976

在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServe

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下： 1、独立模式即本地运行模式（standalone或local mode） 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 2、伪分布运行模式 伪分布:如果hadoop对应的Ja

Hadoop 新 MapReduce 框架 Yarn 详解参考链接：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0

hdfs介绍Hadoop的分布式文件系统hdfs是依据谷歌的GFS论文来实现的，它是一个被设计成为运行在廉价的通用硬件之上，具有容错性的文件系统。hdfs的设计使得它能够提供很高的吞吐量，很适合大规模的数据集合。hdfs架构hdfs的设计如下图所示hdfs由Namenode和Datanode组成，Namenode和Datanode可以在任

作者：华华儿链接：https://www.zhihu.com/question/27232470/answer/117355287来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一、大数据通用处理平台1. Spark2. Flink3. Hadoop二、分布式存储HDFS三、资源调度1、Yarn2、Mesos

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：  从hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 一、Flume架构介绍 1、Flume的概念  flume是分布式的

Hbase全称为Hadoop Database，即hbase是hadoop的数据库，是一个分布式的存储系统。Hbase利用Hadoop的HDFS作为其文件存储系统，利用Hadoop的MapReduce来处理Hbase中的海量数据。利用zookeeper作为其协调工具。 本篇文章将重点介绍Hbase三个方面的内容：Hbase体系结构（架构）的介绍、Hbase shell的操作、Hbase的Jav

Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位，在实际的业务当中用的也非常多，可以说hadoop之所以这么流行在很大程度上是因为hive的存在。那么Hive究竟是什么，为什么在Hadoop家族中占有这么重要的地位，本篇文章将围绕Hive的体系结构(架构)、Hive的操作、Hive与Hbase的区别等对Hive进行全方面的阐述。在此之前，先给大家介绍一个业务场景，...

本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。  如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对hbase中的数据进行统计与分析，分析之后将分析结果存入到hive表中，然后通过Sqoop这个工具将我们的数据挖

离线分析框架搭建hadoop集群搭建部署Hadoop HA部署Hive安装部署Sqoop组件安装部署实时分析框架搭建 storm kafkakafka安装配置storm集群安装部署