Hive 中的函数概览

Hive 内置函数

Hive 内置函数说明

函数较多，可以参考官方文档

LanguageManual UDF - Apache Hive - Apache Software Foundation

查看系统自带的函数

show functions;

显示自带的函数的用法

desc function round;

详细显示自带的函数的用法

desc function extended round;

Hive 数学函数

取整函数: round

语法: round(double a)
返回值: BIGINT
说明:返回double类型的整数值部分（遵循四舍五入）

-- 取整，结果：3
select round(3.1415926);

指定精度取整函数: round

语法: round(double a, int d)
返回值: DOUBLE
说明:返回指定精度d的double类型

-- 取整，精度为4，结果：3.1416
select round(3.1415926,4);

向下取整函数: floor

语法: floor(double a)
返回值: BIGINT
说明:返回等于或者小于该double变量的最大的整数

-- 向下取整，结果：3
select floor(3.1415926);

# 四舍五入为指定的小数位数，带精度
> SELECT round(2.5, 0);
 3.0
 
> SELECT round(2.5, 1);
2.5

# 四舍五入为整数
> SELECT round(2.5);
 3

向上取整函数: ceil

语法: ceil(double a)
返回值: BIGINT
说明:返回等于或者大于该double变量的最小的整数

-- 向上取整，结果：4
select ceil(3.1415926);

获取随机数函数: rand

语法: rand(),rand(int seed)
返回值: double
说明:返回一个0到1范围内的随机数。如果指定种子seed，则会返回固定的随机数

-- 获取随机数，结果：0.5577432776034763
select rand();

-- 获取随机数，结果：0.6638336467363424
select rand();

-- 获取随机数，指定种子，结果：0.7220096548596434
select rand(100);

-- 获取随机数，指定种子，结果：0.7220096548596434
select rand(100);

幂运算函数: pow

语法: pow(double a, double p)
返回值: double
说明:返回a的p次幂

-- 获取 2的4次方，结果：16.0
select pow(2,4) ;

绝对值函数: abs

语法: abs(double a)  abs(int a)
返回值: double       int
说明:返回数值a的绝对值

-- 获取绝对值，结果：3.9
select abs(-3.9);

-- 获取绝对值，结果：10.9
select abs(10.9);

取最小值函数：least

取几个数中的最小值，不是 min 函数

-- 取 4 个数中的最小值
select least(1,2,3,4);

取最大值函数：greatest

取几个数中的最大值，除去 null 值

注意：max 函数不能比较 null 值

> select greatest(null,1,9,7,4);
> 9

Hive 字符串函数

字符串长度函数：length

语法: length(string A)
返回值: int
说明：返回字符串A的长度

-- 返回字符串长度，结果：7
select length('abcedfg');

字符串反转函数：reverse

语法: reverse(string A)
返回值: string
说明：返回字符串A的反转结果

-- 字符串反转，结果：gfdecba
select reverse('abcedfg');

字符串连接函数：concat

语法: concat(string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，支持任意个输入字符串
abcdefgh
-- 字符串连接，结果：abcdefgh
select concat('abc','def','gh');

字符串连接函数-带分隔符：concat_ws

语法: concat_ws(string SEP, string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符

-- 以 ',' 为分隔符，连接多个字符串，结果：abc,def,gh
select concat_ws(',','abc','def','gh');

字符串截取函数：substr,substring

语法: substr(string A, int start),substring(string A, int start)
返回值: string
说明：返回字符串A从start位置到结尾的字符串

-- 起始位置为3截取，从1开始，包含起始位置，结果：cde
select substr('abcde',3);

-- 起始位置为3截取，从1开始，包含起始位置，结果：cde
select substring('abcde',3);

-- 从右往左，第一个位置为起始位置，结果：e
select substr('abcde',-1);

字符串截取函数：substr,substring

语法: substr(string A, int start, int len),substring(string A, intstart, int len)
返回值: string
说明：返回字符串A从start位置开始，长度为len的字符串

-- 从左往右，起始位置为3，长度为2，结果：cd
select substr('abcde',3,2);

-- 从左往右，起始位置为3，长度为2，结果：cd
hive> select substring('abcde',3,2);

-- 从右往左，起始位置为2，长度为2，结果：de
hive>select substring('abcde',-2,2);

-- 从左往右，获取年信息
hive> select substr('2019-07-02 00:00:00.0',0,4);

字符串转大写函数：upper,ucase

语法: upper(string A) ucase(string A)
返回值: string
说明：返回字符串A的大写格式

-- 变大写，结果：ABSED
select upper('abSEd');

-- 变大写，结果：ABSED
select ucase('abSEd');

字符串转小写函数：lower,lcase

语法: lower(string A) lcase(string A)
返回值: string
说明：返回字符串A的小写格式

-- 变小写，结果：absed
select lower('abSEd');

-- 变小写，结果：absed
select lcase('abSEd');

去空格函数：trim

语法: trim(string A)
返回值: string
说明:去除字符串两边的空格

-- 去除空格，结果：abc
select trim(' abc ');

左边去空格函数：ltrim

语法: ltrim(string A)
返回值: string
说明：去除字符串左边的空格

-- 去除左边空格，结果：'abc  '
select ltrim(' abc ');

右边去空格函数：rtrim

语法: rtrim(string A)
返回值: string
说明：去除字符串右边的空格

-- 去除右边空格，结果：'  abc'
select rtrim(' abc ');

正则表达式替换函数：regexp_replace

语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数

-- 正则替换，结果：fb
select regexp_replace('foobar', 'oo|ar', '');

-- 把日期字符串中的分隔符进行替换
select regexp_replace('2017/1/21','/','-');

URL解析函数：parse_url

语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
返回值: string
说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.

-- 获取 url 中的 host，结果：facebook.com
select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST');

-- 获取 url 中的 path，结果：/path1/p.php
select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'PATH');

-- 获取 url 中的 参数，结果：v1
select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1');

分割字符串函数: split

语法: split(string str, stringpat)
返回值: array
说明:按照pat字符串分割str，会返回分割后的字符串数组

-- 字符串按照 't' 分割，结果：["ab","cd","ef"]
select split('abtcdtef','t');

字符串是否包含指定字符串： locate 函数

语法：locate(substr, str[, pos])
返回值：int
说明：如果返回值大于 0 ，说明字符串包含

-- 'foobarbar' 是否包含 'bar'
SELECT if(locate('bar', 'foobarbar')>0,'Y','N');

字符串是否包含指定字符串： instr 函数

-- 'select@@'' 是否包含 '@'
select instr('select@@','@');

-- '@select@'' 是否包含 '@'，如果包含，值大于1，值为1表示包含，值为0表示不包含
select if(instr('select@@','@')>0,1,0);

字符串填充

语法：locate(substr, str[, pos])
返回值：int
说明：如果返回值大于 0 ，说明字符串包含

-- 字符串一共有 4 位，在 'b' 的左侧填充 'a'，直至到达 4 位
select lpad('b',4,'a');

-- 字符串一共有 4 位，在 'b' 的右侧填充 'a'，直至到达 4 位
select rpad('b',4,'a');

Hive 日期函数

获取当前日期

> select current_date;
> 2021-09-04

日期格式化

注意：该函数返回的是字符串，想要截取字符串，必须要符合这种 yyyy-MM-dd HH:mm:ss 这个格式

语法：date_format()
返回值：格式化后的日期

-- 获取格式化后的日期，只需要到具体的月
select date_format('2017-1-21','yyyy-MM');

-- 获取格式化后的日期，具体到分钟
select date_format('2020-10-20 12:20:11','yyyy-MM-dd HH:mm')

获取当前UNIX时间戳函数:unix_timestamp

语法: unix_timestamp()
返回值: bigint
说明:获得当前时区的UNIX时间戳

-- 获取当前的时间戳，结果：1323309615
select unix_timestamp();

-- 获取指定日期的时间戳，日期的格式必须为'yyyy-MM-dd HH:mm:ss'，不符合该格式则返回 null
select unix_timestamp('2019-08-15 16:40:00');

-- 获取指定日期的时间戳，指定日期的格式,不符合格式则返回 null
select unix_timestamp('2019-08-15','yyyy-MM-dd')