
Hive源码
文章平均质量分 70
hive函数源码详解
数仓之路
N年大数据开发经验, 数仓老六,欢迎交流
展开
-
Hive UDAF开发指南
UDAF(User-Defined Aggregate Function)是用户自定义聚合函数的缩写。在大数据处理框架中,如 Apache Hive、Apache Flink、Apache Spark 等,UDAF 允许用户扩展内置聚合函数,以实现特定的数据处理需求。它们通常用于对一组数据进行计算,然后返回一个汇总结果。UDAF 的主要特点:1. 可定制性:用户可以根据自己的需求编写自定义聚合函数,实现特定的数据处理逻辑。原创 2023-08-15 11:13:44 · 1797 阅读 · 0 评论 -
hive之decimal数据类型相乘结果为null
decimal类型使用乘法过程中尽量控制下精度。结果值部分为null值代码。原创 2023-09-11 16:44:56 · 607 阅读 · 0 评论 -
Hive UDF开发指南
UDF(user defined functions)是用户定义函数,UDF操作作用于单个数据行,并且产生单个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。实现UDF需要继承特定类UDF或GenericUDF二选一。apache.hadoop.hive.ql.exec.UDF,处理并返回基本数据类型,int、string、boolean、double等;(也可以返回复杂数据类型)原创 2023-07-14 17:08:45 · 1761 阅读 · 0 评论 -
hive源码之explode函数
UDTF(User-Defined Table-Generating Functions)是一进多出函数,如hive中的explode()、posexplode()函数。explode()函数可以将数组(array类型)的元素分隔成多行,或将映射(map类型)的元素分隔为多行和多列。工作中经常会用到这个函数,今天我们这次来分析下explode()函数源码。不管是hive还是mapreduece,都是比较复杂的一整块,我们在学习的时候不妨“浅尝辄止”。原创 2023-04-10 11:55:16 · 1428 阅读 · 0 评论 -
hive源码之concat函数
大家好,我是老六。今天和大家一起来看下hive中内置函数concat的源码。hive函数官方文档:LanguageManual UDF - Apache Hive - Apache Software Foundation四、学习总结原创 2023-02-07 14:43:34 · 984 阅读 · 0 评论 -
Hive中rlike、like、regexp区别与使用详解
like与rlike的使用对比总结:rlike功能和like功能大致一样,like是后面只支持简单表达式匹配(_%),而rlike则支持标准正则表达式语法。所以如果正则表达式使用熟练的话,建议使用rlike,功能更加强大。所有的like匹配都可以被替换成rlike。反之,则不行。但是注意:like是从头逐一字符匹配的,是全部匹配,但是rlike则不是,可以从任意部位匹配,而且不是全部匹配。原创 2022-12-05 17:00:05 · 18969 阅读 · 1 评论 -
hive源码之decimal乘法精度和标度计算
在数据开发中,对于需要精确保留的字段我们一般都会用decimal类型来进行存储,老六通过源码研究了decimal乘法精度和标度计算原理,我们一起来看下decimal乘法精度和标度到底计算的吧。原创 2022-09-30 14:53:48 · 4066 阅读 · 2 评论 -
hive源码之get_json_object
大家好,我是老六。在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_object和json_tuple。但是在使用get_json_object函数过程中,老六发现get_json_object无法解析key为中文的key:value对。带着这个问题,老六通过源码研究了get_json_object这个函数,探索其中奥秘。原创 2022-09-12 10:00:00 · 17325 阅读 · 2 评论