
Hive
提灯寻梦在南国
这个作者很懒,什么都没留下…
展开
-
大数据面试题——Hive篇
1. Hive有哪些方式保存元数据,各有什么特点?Hive支持三种不同的元存储服务器,分别为:内嵌式元存储服务器、本地元存储服务器、远程元存储服务器,每种存储方式使用不同的配置参数。内嵌式元存储主要用于单元测试,在该模式下每次只有一个进程可以连接到元存储,Derby是内嵌式元存储的默认数据库。在本地模式下,每个Hive客户端都会打开到数据存储的连接并在该连接上请求SQL查询。在远程模式下...原创 2019-04-16 19:30:07 · 5881 阅读 · 0 评论 -
Hive优化
前言Hive系列的第三篇,南国在这里主要是总结归纳一下日常中经常会碰到的Hive的知识点。因为Hive是基于Hadoop的数据仓库,HiveQL内部的执行过程也是基于MapReduce实现的。首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十...原创 2019-03-25 17:14:15 · 408 阅读 · 0 评论 -
Hive初级
Hive的内置函数和基本的UDF函数1.内置函数在Hive中给我们内置了很多函数官方地址也可以在启动hive后输入命令查看函数:SHOW FUNCTIONS;DESCRIBE FUNCTION <function_name>;DESCRIBE FUNCTION EXTENDED <function_name>;查看所有的内置函数hive> show ...原创 2019-03-19 15:11:36 · 265 阅读 · 0 评论 -
Hive入门
Hive基本概念先来谈谈自己的理解:有些人可能会说Hive不就是写SQL的吗,那我们其实可以从另一个角度来理解:Hive就是那么强大啊,只要写SQL就能解决问题,其实这些人说的也没错Hive确实就是写SQL的,对于传统的 DBA人员或者会写SQL就很容易上手了,但是您知道他的底层细节吗,怎么优化呢?和传统的关系型数据库又有什么区别呢?等等一系列问题。Hive是一个构建在Hadoop之上的数据...转载 2019-03-19 10:11:10 · 445 阅读 · 0 评论