Hive
大大大大大大太阳
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive对有null值的列进行avg,sum,count等聚合性操作结果测试
hive对有null值的列进行avg,sum,count等聚合性操作结果测试下面展示一些 内联代码片。数值、null、字符串等联合测试with tmp as(select NULL as col1 union allselect 'NULL' as col1 union allselect null as col1 union allselect 3 as col1 union allselect 2 as col1 union allselect '2' as col1)原创 2020-11-10 17:34:51 · 1058 阅读 · 0 评论 -
Kerberos 认证的Hive Java/Scala Api
Kerberos 认证的Hive Java/Scala Api配置文件:#加载kerberos 配置文件,如果不加载,会默认在本地:c:/windows/krb5.ini 或者集群 /etc/krb5.conf 寻找kerberos.conf = C:/Users/user/Desktop/keytable/krb5.conf#Hive JDBC连接参数hive.driver = or...原创 2018-12-17 15:02:25 · 1293 阅读 · 0 评论 -
Hive Spark Api 查询、写入、注册UDF函数,SparkSql简单操作
Hive Spark Api 查询、写入、注册UDF函数,SparkSql操作Hive Spark insert/overwriteobject ReadKerberosHive { case class Employee(name: String, phone: String) def main(args: Array[String]): Unit = { val sp...原创 2018-12-17 15:16:54 · 1168 阅读 · 0 评论 -
Hive MR小文件优化、性能调优、大小数据量级执行优化
不仅如此Hive的SQL还可以通过用户定义的函数(UDF),用户定义的聚合(UDAF)和用户定义的表函数(UDTF)进行扩展。(几个函数之间的区别)Hive中不仅可以使用逗号和制表符分隔值(CSV / TSV)文本文件,还可以使用Sequence File、RC、ORC、Parquet (知道这几种存储格式的区别),当然Hive还可以通过用户来自定义自己的存储格式,基本上前面说的到的几种格式完全够了。Hive旨在最大限度地提高可伸缩性(通过向Hadoop集群动态添加更多机器扩展),性能,原创 2019-02-27 17:31:26 · 2169 阅读 · 1 评论 -
如何在Hive & Impala中使用UDF
如何在Hive & Impala中使用UDF1、介绍如何在Hive、Impala中使用UDF函数1.如何使用Java开发Hive的自定义函数(如果使用spark sql注册UDF函数,请参考之前的博客Hive Spark Api 查询、写入、注册UDF函数,SparkSql简单操作)2.如何在Hive中创建自定义函数及使用3.如何在Impala中使用Hive的自定义函数2.UDF...原创 2019-03-11 10:57:43 · 1605 阅读 · 0 评论
分享