淡淡的倔强的博客

一、Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在YAR...

由于之前的Hadoop集群是用Docker搭建的，所以后面整个大数据环境，本人都会采用Docker构建，Hive环境安装需在之前的Hadoop基础上构建，参考文章如下： Hadoop系列(一)Docker部署Hadoop集群 一、Hive安装部署 启动docker，运行之前保存的hadoop镜像，进入容器内部，再按下面操作部署Hive环境。 注意：Docker容器重启时，默认的网络模式...

前言 前面介绍了Hive的基本环境安装，Hive环境中的Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore，本篇将介绍安装MySQL来存储MetaStore; Hive系列(二)Hive基本环境安装 一、MySql安装 1、安装包准备 1）查看mysql是否安装，如果安装了，卸载mysql （1）查看 # rpm -qa|grep my...

一、HBase与Hive的对比 Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。 其中HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供...

一、建表规范： Hiive分为内部表和外部表，一般情况，只允许建外部表，不建议使用内部表。 1、LZO标准建表模板如下所示： create EXTERNAL table app_sku_pur_attrib ( stat_dt string comment '统计日期' , ord_item_units double comment '下单商品件数', valid_ord_qtty b...