Hive常用函数大全

Hive常用函数大全

第1章 算数运算

1.1 加法： +

语法：A + B
操作类型：所有数值类型
说明： 返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而 int + double 一般结果为double类型

hive> select 1 + 9 from iteblog;
10
hive> create table iteblog as select 1 + 1.2 from iteblog;
hive> describe iteblog;
_c0     double

1.2 减法： -

语法：A - B
操作类型：所有数值类型
说明： 返回A与B相减的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int – int 一般结果为int类型，而 int – double 一般结果为double类型

hive> select 10 – 5 from iteblog;
5
hive> create table iteblog as select 5.6 – 4 from iteblog;
hive> describe iteblog;
_c0     double

1.3 乘法： *

语法：A * B
操作类型：所有数值类型
说明： 返回A与B相乘的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。注意，如果A乘以B的结果超过默认结果类型的数值范围，则需要通过cast将结果转换成范围更大的数值类型

hive> select 40 * 5 from iteblog;
200

1.4 除法： /

语法：A / B
操作类型：所有数值类型
说明： 返回A除以B的结果。结果的数值类型为double

hive> select 40 / 5 from iteblog;
8.0
1
2

注意：hive中最高精度的数据类型是double,只精确到小数点后16位，在做除法运算的时候要特别注意

hive>select ceil(28.0/6.999999999999999999999) from iteblog limit 1;    
结果为4
hive>select ceil(28.0/6.99999999999999) from iteblog limit 1;           
结果为5

1.5 取余： %

语法：A % B
操作类型：所有数值类型
说明： 返回A除以B的余数。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive> select 41 % 5 from iteblog;
1
hive> select 8.4 % 4 from iteblog;
0.40000000000000036

注意：精度在hive中是个很大的问题，类似这样的操作最好通过round指定精度

hive> select round(8.4 % 4 , 2) from iteblog;
0.4

1.6 位与： &

语法：A & B
操作类型：所有数值类型
说明：返回A和B按位进行与操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive> select 4 & 8 from iteblog;
0
hive> select 6 & 4 from iteblog;
4

1.7 位或： |

语法：A | B
操作类型：所有数值类型
说明： 返回A和B按位进行或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive> select 4 | 8 from iteblog;
12
hive> select 6 | 8 from iteblog;
14

1.8 位异或： ^

语法：A ^ B
操作类型：所有数值类型
说明： 返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive> select 4 ^ 8 from iteblog;
12
hive> select 6 ^ 4 from iteblog;
2

1.9 位取反： ~

语法：~A
操作类型：所有数值类型
说明： 返回A按位取反操作的结果。结果的数值类型等于A的类型。

hive> select ~6 from iteblog;
-7
hive> select ~4 from iteblog;
-5

第2章 关系运算

2.1 等值比较： =

语法：A=B
操作类型：所有基本类型
说明： 如果表达式A与表达式B相等，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 1=1;
1

2.2 不等值比较： <>

语法： A <> B
操作类型： 所有基本类型
说明： 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 1 <> 2;
1

2.3 小于比较： <

语法： A < B
操作类型：所有基本类型
说明： 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 1 < 2;
1

2.4 小于等于比较： <=

语法： A <= B
操作类型： 所有基本类型
说明： 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于或者等于表达式B，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 1 < = 1;
1

2.5 大于比较： >

语法： A > B
操作类型： 所有基本类型
说明： 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于表达式B，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 2 > 1;
1

2.6 大于等于比较： >=

语法： A >= B
操作类型： 所有基本类型
说明： 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于或者等于表达式B，则为TRUE；否则为FALSE

hive> select 1 from iteblog where 1 >= 1;
1

注意：String的比较要注意(常用的时间比较可以先 to_date 之后再比较)

hive> select * from iteblog;
OK
2011111209 00：00：00     2011111209
hive> select a, b, a<b, a>b, a=b from iteblog;
2011111209 00：00：00     2011111209      false   true    false

2.7 空值判断： IS NULL

语法： A IS NULL
操作类型： 所有类型
说明： 如果表达式A的值为NULL，则为TRUE；否则为FALSE

hive> select 1 from iteblog where null is null;
1

2.8 非空判断： IS NOT NULL

语法： A IS NOT NULL
操作类型： 所有类型
说明： 如果表达式A的值为NULL，则为FALSE；否则为TRUE

hive> select 1 from iteblog where 1 is not null;
1

2.9 LIKE比较： LIKE

语法： A LIKE B
操作类型： strings
说明： 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B 的正则语法，则为TRUE；否则为FALSE。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。

hive> select 1 from iteblog where 'football' like 'foot%';
1
hive> select 1 from iteblog where 'football' like 'foot____';
1

注意：否定比较时候用NOT A LIKE B

hive> select 1 from iteblog where NOT 'football' like 'fff%';
1

2.10 JAVA的LIKE操作： RLIKE

语法： A RLIKE B
操作类型： strings
说明： 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。

hive> select 1 from iteblog where 'footbar’ rlike '^f.*r$’;
1

注意：判断一个字符串是否全为数字：

hive>select 1 from iteblog where '123456' rlike '^\\d+$';
1
hive> select 1 from iteblog where '123456aa' rlike '^\\d+$';

2.11 REGEXP操作： REGEXP

语法： A REGEXP B
操作类型： strings
说明： 功能与RLIKE相同

hive> select 1 from iteblog where 'footbar' REGEXP '^f.*r$';
1

第3章 数值函数

3.1 取整函数： round

语法： round(double a)
返回值： BIGINT
说明： 返回double类型的整数值部分 （遵循四舍五入）

hive> select round(3.1415926) from iteblog;
3
hive> select round(3.5) from iteblog;
4
hive> create table iteblog as select round(9542.158) from iteblog;
hive> describe iteblog;
_c0     bigint

3.2 指定精度取整函数： round

语法： round(double a, int d)
返回值： DOUBLE
说明： 返回指定精度d的double类型

hive> select round(3.1415926,4) from iteblog;
3.1416

3.3 向下取整函数： floor

语法： floor(double a)
返回值： BIGINT
说明： 返回等于或者小于该double变量的最大的整数

hive> select floor(3.1415926) from iteblog;
3
hive> select floor(25) from iteblog;
25

3.4 向上取整函数： ceil

语法： ceil(double a)
返回值： BIGINT
说明： 返回等于或者大于该double变量的最小的整数

hive> select ceil(3.1415926) from iteblog;
4
hive> select ceil(46) from iteblog;
46

3.5 向上取整函数： ceiling

语法： ceiling(double a)
返回值： BIGINT
说明： 与ceil功能相同

hive> select ceiling(3.1415926) from iteblog;
4
hive> select ceiling(46) from iteblog;
46

3.6 取随机数函数： rand

语法： rand(),rand(int seed)
返回值： double
说明： 返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列

hive> select rand() from iteblog;
0.5577432776034763
hive> select rand() from iteblog;
0.6638336467363424
hive> select rand(100) from iteblog;
0.7220096548596434
hive> select rand(100) from iteblog;
0.7220096548596434

3.7 自然指数函数： exp

语法： exp(double a)
返