1.hive2支持的math函数聚合计算函数

最新推荐文章于 2024-06-06 00:26:14 发布
最新推荐文章于 2024-06-06 00:26:14 发布
阅读量748 收藏 1
点赞数
分类专栏： hive2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kk25114/article/details/103999784
版权

1.hive自身支持的math函数

 

 Mathematical 计算数学函数

  • abs(DOUBLE a)
  • acos(DECIMAL|DOUBLE a)
  • asin(DECIMAL|DOUBLE a)
  • atan(DECIMAL|DOUBLE a)
  • bin(BIGINT a)
  • bround(DOUBLE a [, INT decimals]) SELECT bround(12.25, 1);12.2
  • cbft(DOUBLE a)
  • ceil(DOUBLE a)
  • ceiling(DOUBLE a) SELECT ceiling(-0.1) FROM src LIMIT 1;0

SELECT ceiling(5) FROM src LIMIT 1;5

  • conv(BIGINT|STRING a, INT from_base, INT to_base) SELECT conv('100', 2, 10) FROM src LIMIT 1;'4'

SELECT conv(-10, 16, -10) FROM src LIMIT 1; '16'

  • cos(DECIMAL|DOUBLE a)
  • degrees(DECIMAL|DOUBLE a) SELECT degrees(30) FROM src LIMIT 1;-1 将a的值从弧度转换为度
  • e()
  • exp(DECIMAL|DOUBLE a) 返回e ^ a，其中e是自然对数的底数 SELECT exp(0) FROM src LIMIT 1; 1
  • factorial(INT a) SELECT factorial(5); 120 返回a的阶乘。有效a为[0..20]
  • floor(DOUBLE a)
  • greatest(T a1, T a2, ...) 返回值列表的最大值。修复了当一个或多个参数为NULL并放宽严格类型限制（与“>”运算符一致）时返回NULL的问题

SELECT greatest(2, 3, 1) FROM src LIMIT 1; 3

  • hex(BIGINT|BINARY|STRING a) SELECT hex('Facebook') FROM src LIMIT 1;'46616365626F6F6B'

如果参数是INT或二进制，则十六进制以十六进制格式将数字作为STRING返回。否则，如果数字为STRING，则它将每个字符转换为其十六进制表示形式，并返回结果STRING

  • least(T a1, T a2, ...) SELECT least(2, 3, 1) FROM src LIMIT 1;1 返回值列表中的最小值。修复了当一个或多个参数为NULL并放宽严格类型限制（与“ <”运算符一致）时返回NULL的问题
  • ln(DECIMAL|DOUBLE a) 返回参数a的自然对数
  • log(DECIMAL|DOUBLE base, DECIMAL|DOUBLE a)
  • log10(DECIMAL|DOUBLE a)
  • log2(DECIMAL|DOUBLE a)
  • negative(T<DOUBLE|INT> a)
  • pi()
  • pmod(T<DOUBLE|INT> a, T b)
  • positive(T<DOUBLE|INT> a)
  • pow(DOUBLE a, DOUBLE p) SELECT pow(2, 3) FROM src LIMIT 1; 8 2^3
  • power(DOUBLE a, DOUBLE p)
  • radians(DECIMAL|DOUBLE a)
  • rand([INT seed])
  • round(DOUBLE a [, INT d])
  • shiftleft(T<BIGINT|INT|SMALLINT|TINYINT> a, INT b) 位移
  • shiftright(T<BIGINT|INT|SMALLINT|TINYINT> a, INT b)
  • shiftrightunsigned(T<BIGINT|INT|SMALLINT|TINYINT> a, INT b)
  • sign(T<DOUBLE|INT> a)
  • sin(DECIMAL|DOUBLE a)
  • sqrt(DECIMAL|DOUBLE a) 返回a的平方根 SELECT sqrt(4) FROM src LIMIT 1;2
  • tan(DECIMAL|DOUBLE a)
  • unhex(STRING a)
  • width_bucket(NUMBER expr, NUMBER min_value, NUMBER max_value, INT num_buckets)

 

 

 

 

hive的Aggregate

 

 

  • avg(col)
  • collect_set(col)
  • collect_list(col)
  • corr(col1, col2)
  • count([DISTINCT] col)
  • covar_pop(col1, col2)
  • covar_samp(col1, col2)
  • histogram_numeric(col, b)
  • max(col)
  • min(col)
  • ntile(INT x)
  • percentile(BIGINT col, p), array<DOUBLE> percentile(BIGINT col, array(p1 [, p2]...))
  • percentile_approx(DOUBLE col, p, [, B]), array<DOUBLE> percentile_approx(DOUBLE col, array(p1 [, p2]...), [, B])
  • regr_avgx(T independent, T dependent)
  • regr_avgy(T independent, T dependent)
  • regr_count(T independent, T dependent)
  • regr_intercept(T independent, T dependent)
  • regr_r2(T independent, T dependent)
  • regr_slope(T independent, T dependent)
  • regr_sxx(T independent, T dependent)
  • regr_sxy(T independent, T dependent)
  • regr_syy(T independent, T dependent)
  • stddev 标准差
  • stddev_pop(col) 标准偏差
  • stddev_samp(col) 无偏样本标准差
  • sum(col)
  • variance(col) 返回组中数字列的方差
  • var_pop(col) 组中数字列的方差
  • var_samp(col) 返回组中数字列的无偏样本方差

 

 

2. hive使用java的算法

math

static double abs(double a)

返回值为 double绝对值

 

static float abs(float a)

返回 float值的绝对值

 

static int abs(int a)

返回值为 int绝对值

 

static long abs(long a)

返回值为 long绝对值

 

static double acos(double a)

返回值的反余弦值; 返回的角度在0.0到pi的范围内

 

static int addExact(int x, int y)

返回其参数的总和，如果结果溢出int，则抛出 int

 

static long addExact(long x, long y)

返回其参数的总和，如果结果溢出long，则抛出 long

 

static double asin(double a)

返回值的正弦值; 返回角度在pi / 2到pi / 2的范围内

 

static double atan(double a)

返回值的反正切值; 返回角度在pi / 2到pi / 2的范围内

 

static double atan2(double y, double x)

返回从直角坐标（转换角度 theta x ， y ）为极坐标 （R，θ-）

 

static double cbrt(double a)

返回 double值的多维数据集根

 

static double ceil(double a)

返回大于或等于参数的最小（最接近负无穷大） double值，等于一个数学整数

 

static double copySign(double magnitude, double sign)

使用第二个浮点参数的符号返回第一个浮点参数

 

static float copySign(float magnitude, float sign)

使用第二个浮点参数的符号返回第一个浮点参数

 

static double cos(double a)

返回角度的三角余弦

 

static double cosh(double x)

返回的双曲余弦 double值

 

static int decrementExact(int a)

返回一个递减1的参数，如果结果溢出int，则 int

 

static long decrementExact(long a)

将返回的参数递减1，如果结果溢出long，则 long

 

static double exp(double a)

返回欧拉的数字 e提高到一个 double价值

 

static double expm1(double x)

返回 e x -1

 

static double floor(double a)

返回小于或等于参数的最大（最接近正无穷大） double值，等于一个数学整数

 

static int floorDiv(int x, int y)

返回小于或等于代数商的最大（最接近正无穷大） int值

 

static long floorDiv(long x, long y)

返回小于或等于代数商的最大（最接近正无穷大） long值

 

static int floorMod(int x, int y)

返回 int参数的底部模数

 

static long floorMod(long x, long y)

返回 long参数的底模数

 

static int getExponent(double d)

返回a的表示中使用的无偏指数 double

 

static int getExponent(float f)

返回a的表示中使用的无偏指数 float

 

static double hypot(double x, double y)

返回sqrt（ x 2 + y 2 ），没有中间溢出或下溢

 

static double IEEEremainder(double f1, double f2)

根据IEEE 754标准计算两个参数的余数运算

 

static int incrementExact(int a)

返回自变量1，如果结果溢出int，则 int

 

static long incrementExact(long a)

返回一个增加1的参数，如果结果溢出long，则 long

 

static double log(double a)

返回的自然对数（以 e为底） double值

 

static double log10(double a)

返回一个 double的基数10对数值

 

static double log1p(double x)

返回参数和1的和的自然对数

 

static double max(double a, double b)

返回两个 double值中的较大值

 

static float max(float a, float b)

返回两个 float的较大值

 

static int max(int a, int b)

返回两个 int值中的较大值

 

static long max(long a, long b)

返回两个 long的较大值

 

static double min(double a, double b)

返回两个 double的较小值

 

static float min(float a, float b)

返回两个 float的较小值

 

static int min(int a, int b)

返回两个 int的较小值

 

static long min(long a, long b)

返回两个 long的较小值

 

static int multiplyExact(int x, int y)

返回参数的乘积，如果结果溢出int，则抛出 int

 

static long multiplyExact(long x, long y)

返回参数的乘积，如果结果溢出long，则抛出 long

 

static int negateExact(int a)

返回参数的否定，如果结果溢出int，则 int

 

static long negateExact(long a)

返回参数的否定，如果结果溢出long，则 long

 

static double nextAfter(double start, double direction)

返回与第二个参数方向相邻的第一个参数的浮点数

 

static float nextAfter(float start, double direction)

返回与第二个参数方向相邻的第一个参数的浮点数

 

static double nextDown(double d)

返回与负无穷大方向相邻的 d的浮点值

 

static float nextDown(float f)

返回与负无穷大方向相邻的 f的浮点值

 

static double nextUp(double d)

返回与正无穷大方向相邻的 d的浮点值

 

static float nextUp(float f)

返回与正无穷大方向相邻的 f的浮点值

 

static double pow(double a, double b)

将第一个参数的值返回到第二个参数的幂

 

static double random()

返回值为 double值为正号，大于等于 0.0 ，小于 1.0

 

static double rint(double a)

返回与参数最接近值的 double值，并且等于数学整数

 

static long round(double a)

返回参数中最接近的 long ，其中 long四舍五入为正无穷大

 

static int round(float a)

返回参数中最接近的 int ，其中 int四舍五入为正无穷大

 

static double scalb(double d, int scaleFactor)

返回 d 2 scaleFactor四舍五入，好像由单个正确四舍五入的浮点乘以双重值集合的成员执行

 

static float scalb(float f, int scaleFactor)

返回 f 2 scaleFactor四舍五入，就像一个正确圆形的浮点数乘以浮点值集合的成员一样

 

static double signum(double d)

返回参数的signum函数; 如果参数为零，则为零，如果参数大于零则为1.0，如果参数小于零，则为-1.0

 

static float signum(float f)

返回参数的signum函数; 如果参数为零，则为零，如果参数大于零则为1.0f，如果参数小于零，则为-1.0f

 

static double sin(double a)

返回角度的三角正弦

 

static double sinh(double x)

返回的双曲正弦 double值

 

static double sqrt(double a)

返回的正确舍入正平方根 double值

 

static int subtractExact(int x, int y)

返回参数的差异，如果结果溢出int，则抛出 int

 

static long subtractExact(long x, long y)

返回参数的差异，如果结果溢出long，则抛出 long

 

static double tan(double a)

返回角度的三角正切

 

static double tanh(double x)

返回的双曲正切 double值

 

static double toDegrees(double angrad)

将以弧度测量的角度转换为以度为单位的近似等效角度

 

static int toIntExact(long value)

返回long参数的值; 如果值溢出int，则int

 

static double toRadians(double angdeg)

将以度为单位的角度转换为以弧度测量的大致相等的角度

 

static double ulp(double d)

返回参数的ulp的大小

 

static float ulp(float f)

返回参数的ulp的大小

 

 

 

 

Hive OLAP多为立方体实现多维聚合函数计算
奋斗的阿杰的博客
09-08 223
hive 多维立方体的实现
hive 函数使用详解
congge_study的博客
02-12 7901
hive 函数使用详解
Hive系列（二）—— 常用函数汇总
BigData_Hubert的博客
08-27 1092
Hive 函数比较多，之前总是随用随查，今天把常用的函数总结一下，以后方便查阅。 前言 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 如图所示： Hive常用函数数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数 数学函数 round() #返回对a四舍五入的bigint值 SELECT round(1.5) # 输出 2 SELECT round(-1.5)
hive数学函数
linda18434365737的博客
03-24 5627
hive 内置数学函数 这是hive v0.8.0版本中所提供的，而且适用于处理单个列的数据的。 round(DOUBLE d) : 返回DOUBLE型的d的BIGINT类型的近似值 round(DOUBLE d，INT) : 返回DOUBLE型的d的保留n位小数的DOUBLE类型的近似值 floor(DOUBLE d): d是DOUBLE类型的，返回&lt;=d的最大的BIGI...
一起重新开始学大数据-hive篇-day 52 常用函数、复杂函数、行列互转、UDF自定义函数、HiveShell
tiand7的博客
09-08 401
Hive 常用函数 关系运算 等值比较 = == <=> 不等值比较 != <> <=>与=和==是等于的意思，<> 与!=都是不等于的意思，但是一般都是用<>来代表不等于，因为<>在任何SQL中都起作用，但是!=在sql2000中用到，则是语法错误，不兼容的（同理=和<=>也是） 区间比较： select * from default.students where id between 1500100001
大数据之Hive函数大全
m0_55901666的博客
05-24 2464
大数据技术组件Hive函数大全，HIve函数最全系列，包括常见的聚合函数，开窗函数等等
【Hive】通过数学转换实现乘法聚合函数
喜东东的博客
07-10 2939
在其他博客上看到，分享给大家！ 1、问题 数据如下: table 1 date1 price 2018/1/1 12 2018/1/2 12 2018/1/3 12 2018/1/4 12 2018/1/5 12 2018/1/6 12 2018/1/7 12 table 2 date2 factor 2018/1/3 0.2 201...
Hive自定义函数解析
阿尼古
05-28 453
Hive运行用户自定义函数对数据信息处理，可以试用show functions查看 hive当前支持的函数。 hive支持三种类型的UDF函数： 普通UDF函数： 操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函数） 聚合udf （UDAF） 接受多个数据行，并产生一个数据行作为输出。例如（COUNT，MAX函数等） 表生成UDF(UDTF) 接受一个数据行，然后返回...
Hive UDF自定义函数原理与代码实例讲解
最新发布
AI天才研究院
06-06 1273
Hive UDF自定义函数原理与代码实例讲解 1.背景介绍 在大数据时代,海量数据的存储和处理成为了一个巨大的挑战。Apache Hive作为构建在Hadoop之上的数据仓库工具,为结构化数据的存储和分析提供了强大的SQL查询能力。然而,有时Hive内置的函数并不能满足特定的业务
4.Hive的Serde,Server2,函数
农码一生
10-19 555
Hive Serde Hive Serde用来做序列化和反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。 应用场景: hive主要用来存储结构化数据，如果结构化数据存储的格式嵌套比较复杂的时候，可以使用serde的方式，利用正则表达式匹配的方法来读取数据，例如，表字段如下：id,name,map<string,array<map<string,string>>> 当读取数据的时候，数据的某些特殊格式不希望显示在数据中，如：192.168..
[Hive] Hive常用数学函数
mouliu6141的博客
08-09 238
Numeric and Mathematical Functions in Hive The Numerical functions are listed below in alphabetical order. Use these functions in SQL queries. ABS( double n ) The ABS function returns the absolute value of a number. Example: ABS(-100) ACOS( double n ) The
Hive常用函数 - abs
Kingsley's Blog
03-21 3875
hive常用函数知识点
转载 atan2(a,b) 和 atan(a/b)
风行
10-06 1434
atan2(a,b)是4象限反正切，它的取值不仅取决于正切值a/b，还取决于点 (b, a) 落入哪个象限：    当点(b, a) 落入第一象限时，atan2(a,b)的范围是 0 ~ pi/2; 　当点(b, a) 落入第二象限时，atan2(a,b)的范围是 pi/2 ~ pi;    当点(b, a) 落入第三象限时，atan2(a,b)的范围是 －pi～－pi/2; 　当点(b, a) ...
❤️Hive的基本知识(三)Hive中的函数大全❤️
Maynor的博客
09-08 718
???? Hive中的函数 针对内置的函数，可以根据函数的应用类型进行归纳分类，比如：数值类型函数、日期类型函数、字符 串类型函数、集合函数、条件函数等； 针对用户自定义函数，可以根据函数的输入输出行数进行分类，比如：UDF、UDAF、UDTF。 ???? 内置函数分类： ???? 字符串函数： 字符串长度函数：length 字符串反转函数：reverse 字符串连接函数：concat 带分隔符字符串连接函数：concat_ws 字符串截取函数：substr,substring 字符串转大写函数：upper
Hive 工作中常用函数
日格一物
12-11 594
Hive 常用函数备忘 1.转换函数 cast (value as type) , 显式的将一个类型的数据转化为另一种类型的数据, 若不能进行转化则返回 null 值. select cast(salary as char(1)); 返回一个char类型的salary, 若不能进行转化则返回null值. 2.条件判断函数 case [...] when ... then ... else ... end 第一种: case when 条件 then 满足条件后的结果 case when tb1.os
Hive之内置运算符和内置函数
l775892226的博客
08-16 390
内置运算符 Hive中内置运算符一共有四种： 关系运算符 算术运算符 逻辑运算符 复杂运算符 1、关系运算符 运算符 类型 描述 A=B 所有基本类型 如果表达A等于表达B，结果TRUE ，否则FALSE。 A != B 所有基本类型 如果A不等于表达式B表达返回TRUE ，否则FALSE。 A < B 所有基本类型 如果表达式A小于表达式B返回TRUE，否则FA...
阿里云系统HIVE函数－数学函数
chutang3161的博客
02-21 217
ABS-计算绝对值 double/bigint ABS(double/bigint NUMBER) ACOS-计算反余弦 double/decimal ACOS(double/decimal NUMBER) 返回值的值域为[0.0 , 3.1415926535897...
Hive数值计算函数
lhxsir的博客
04-02 5743
(1)round(45.666,2) 作用：四舍五入，保留2位小数    ceil(45.6) 作用：向上取整    floor(45.6) 作用：向下取整(2)rand() 返回一个0到1范围内的随机数(3)exp(double a) 返回自然对数e的a次方   ln(double a)返回a的自然对数(4)log10(double a) 返回以10为底的a的对数   log2(double a...
Hive函数大全（含例子）之数学函数（Mathematical Functions）
qq_35921007的博客
04-05 2240
为了方便测试，创建了dual表，该表只有一个字段以及只有一行数据，建表语句如下： CREATE TABLE dual ( x INT ) 函数名称：round(DOUBLE a)，返回类型：DOUBLE 返回数字 a 四舍五入后的值 select round(1.5) from dual; -- 结果为 2 select round(1.1) from dual; -- 结果为...
hive sum（case when）聚合函数
05-28
在Hive中，可以使用SUM函数结合CASE WHEN语句进行条件聚合。具体语法如下所示： ``` SELECT SUM(CASE WHEN condition1 THEN value1 ELSE 0 END) AS result1, SUM(CASE WHEN condition2 THEN value2 ELSE 0 END) AS result2, ... FROM table_name WHERE condition; ``` 其中，condition1、condition2等表示条件表达式，value1、value2等表示需要聚合的数值列。在SUM函数中，当满足条件时将数值列相加，否则将值设为0，最终返回聚合结果。需要注意的是，CASE WHEN语句中的ELSE 0是可选的，如果不指定则默认为NULL。 举个例子，假设有一张学生成绩表scores，包含学生ID（student_id）、科目（subject）和成绩（score）三个字段，现在要统计每个学生的数学和英语成绩之和，可以使用如下SQL语句： ``` SELECT student_id, SUM(CASE WHEN subject = 'math' THEN score ELSE 0 END) AS math_sum, SUM(CASE WHEN subject = 'english' THEN score ELSE 0 END) AS english_sum FROM scores GROUP BY student_id; ``` 这样就可以得到每个学生的数学和英语成绩之和了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值