引语
大数据开发之路漫漫其修远兮,吾将上下而求索。很多入门大数据的小伙伴,可能第一个接触到的,就是一只可爱的“小象”,也就是我们的大数据领域的数据仓库工具hive。
这只小象给我们提供了方便类SQL查询语言HQL来操纵数据,使得我们一开始不用编写复杂的代码,就可以轻松的探索数据。Hive对于熟悉传统数据库的同学来说,算是很友好的一个入门工具。
大数据人工智能发展趋势与前景 戳我阅读
最全最新的大数据系统交流路径!!戳我阅读
原理
在大数据生态中,hive一般作为数据仓库来使用。什么是数据仓库呢?简单来说就像一个大粮仓,里边堆着各种各样的粮食,比如小麦、玉米、土豆、大米等等。数据仓库里是一个数据集合体,把不同数据源按照一定的形式集合统一起来。 Hive本身是不做数据存储的,它是构建在分布式存储系统HDFS之上,我们平常看到的表数据其实本质上来说还是HDFS的文件。Hive把这些HDFS数据文件,通过元数据规则映射为数据库的表,并且可以提供SQL操作的功能。 Hive总体结构比较简单,下方是整体的hive架构图,我们可以看到,总体有三个组件:用户接口、元数据系统、驱动器。
用户通过用户接口来输入操作指令。一般接口有三种形式:
CLI端:一般在linux服务器直接输入hive即可进入;
WEB模式:通过命令bin/hive --service hwi启动,默认访问9999端口;
远程模式:一般是JDBC之类的编程接口;
Hive的核心在于驱动器,一般驱动器接收到用户接口传递的一条SQL之后,会进行下面的一系列操作:
-
驱动器开始进行语法和语义分析
-
生成逻辑计划并且逻辑优化
-
生成物理计划
-
发送计划到执行引擎(常用引擎有mapredue和sprk)执行
-
结果返回
而元数据系统一般传统数据库来承载,主要记录了包括hive表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。
常用hive语法
了解了hive的基础原理之后呢,我们这里结合工作中一些需求,来介绍下开发同学常用的hive操作。
-
分组统计
作为一名SQL仔,经常会要去统计一些奇奇怪怪的指标,比如不同年龄段的UV,下单数的小时分布之类的。一般常用的分组就是group by了,然后配合上一些窗口函数, SUM、AVG、MIN、MAX、COUNT等,就可以实现我们很多统计需求了。比如下边的统计时间段的独立用户数,查询结果如下图所示:
-
关联查询
有时候我们查询的数据存放在不同的表中,那关联查询就派上用场了。所谓关联查询,一般就是通过两张表相同的字段值关联起来,同时查询两张表的记录。Hive中常用关联分内外关联。
我们先建立两张简单的表tab_a和tab_b,用实例来说明关联机制。表结构和表数据如下图所示:
内关联一般使用关键字Join或inner join,内关联只返回关联上的结果。
外关联的形式就比较多样化了,又分为:
左外关联:关键字为left [outer] join,以前边的表为主表,返回记录数和主表记录一致,关联不上的字段为null;
右外关联:关键字为right [outer] join,和左外关联相反,则是以后边的表为主表。
全外关联:full [outer] join,返回两个表的去重之和,关联不上的字段为null。
-
行列转换
有时候我们会遇到这样的需求,需要把多列的数据平铺到一行上输出。比如查询用户的访问轨迹,这时候有两个函数就起上作用了。还是让我们先来看看效果。
这两个sql的作用都是把每个用户的点击轨迹拼接暂展示出来,其中collect_set和collect_set能够把列数据合并,转为一行。而两个的唯一区别就是collect_set会进行去重。
上述讲的是行转列,还有些需求,希望我们能把列数据拆分成多行,比如数据结构如下,
Page_id String |
Ad_id Array<int> |
A |
[1,2,3] |
B |