黑白影的博客

一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和存储格式；为超大的数据集设...

一、安装Hive1.1 下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。下载地址：http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz1.2 配置环境变量# vim /etc/profile添加环境变量：export HIVE_HOME=...

一、Hive CLI1.1 Help使用hive -H或者 hive --help命令可以查看所有命令的帮助，显示如下：usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e....

一、Database1.1 查看数据列表show databases; 1.2 使用数据库USE database_name;1.3 新建数据库语法：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA是等价的 [COMMENT database_comment] --数据库注...

一、分区表1.1 概念Hive中的表对应为HDFS上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。分区为HDFS上表目录的子目录，数据按照分区存储在子目录中。如果查询的where字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设计可以极大提高查询速度和性能。这里说明一下分区表并Hive独有的概念，实际上这个概念非常常见。比如在...

一、视图1.1 简介Hive 中的视图和RDBMS中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条SELECT语句的结果集。视图是纯粹的逻辑对象，没有关联的存储(Hive 3.0.0引入的物化视图除外)，当查询引用视图时，Hive可以将视图的定义与查询结合起来，例如将查询中的过滤器推送到视图中。1.2 创建视图CREATE VIEW [IF NOT EXISTS] [db_name...

一、加载文件数据到表1.1 语法LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]LOCAL关键字代表从本地文件系统加载文件，省略则代表从HDFS上加载文件：从本地文件系统加载文件时， filepat...

一、数据准备为了演示查询操作，这里需要预先创建三张表，并加载测试数据。数据文件emp.txt和dept.txt可以从本仓库的resources目录下载。1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 ename STRING, -- 员工姓名 job STRING, -- 职位类...