HIVE中常用函数大全

最新推荐文章于 2025-01-20 15:47:13 发布

转载最新推荐文章于 2025-01-20 15:47:13 发布 · 2.2k 阅读

文章标签：

#hive #函数

HIVE 专栏收录该内容

1 篇文章

订阅专栏

一、关系运算：
1. 等值比较: =
语法：A=B

     操作类型：所有基本类型

     描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE

     举例：

     hive>select 1 from lxw_dual where 1=1;

     1

不等值比较: <>
语法: A <> B

操作类型:所有基本类型

描述:如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE

举例：

hive> select1 from lxw_dual where 1 <> 2;

3.小于比较: <
语法: A < B

操作类型:所有基本类型

描述:如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE

举例：

hive> select1 from lxw_dual where 1 < 2;

小于等于比较: <=
语法: A <= B

操作类型:所有基本类型

描述:如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于或者等于表达式B，则为TRUE；否则为FALSE

举例：

hive> select1 from lxw_dual where 1 <= 1;

大于比较: >
语法: A > B

操作类型:所有基本类型

描述:如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于表达式B，则为TRUE；否则为FALSE

举例：

hive> select1 from lxw_dual where 2 > 1;

大于等于比较: >=
语法: A >= B

操作类型:所有基本类型

描述:如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于或者等于表达式B，则为TRUE；否则为FALSE

举例：

hive> select1 from lxw_dual where 1 >= 1;

注意：String的比较要注意(常用的时间比较可以先to_date之后再比较)

hive> select* from lxw_dual;

201111120900:00:00 2011111209

hive> selecta,b,a

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gavenyeah

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive常用函数总结（上）

Forever_ck的博客

12-26

906

在我们开发数仓项目的过程中，我们常常需要写一些复杂的 hql 语句来完成我们的业务逻辑，今天我们就来聊聊那些Hive中自带的常用函数。一、Hive中内置函数图解二、常用函数总结：（常用的数学和日期函数） round（）四舍五入取值 floor 向下取整 ceil 向上取整 sqrt 求平方根 abs 求绝对值 greatest 求一组数据中的最大值 ...

Hive常用函数大全

王璐的博客

05-29

1327

Hive常用函数大全

参与评论您还未登录，请先登录后发表或查看评论

hive内置函数大全

sunlei1980的专栏

06-23

7714

====================================== 一、关系函数 1.等值比较：= 语法：A=B 操作类型：所有基本类型 2.不等值比较：语法：A 操作类型：所有基本类型 3.小于比较：语法：A 操作类型：所有基本类型 4.空值判断：IS NULL 语法：a is null 操作类型：所有类型 5.非

Hive函数词典

qq_42448606的博客

08-28

1752

Hive函数词典A A 函数名函数介绍函数案例运行结果 abs ceil 求其不小于小给定实数的最小整数如：ceil(6) = ceil(6.1)= ceil(6.9) = 6 SELECT ceil(-0.1) FROM src LIMIT 1; 0 ...

Hive字符函数

实践求真知

12-05

445

一常用字符函数 lower、upper、length、concat、substr、trim、lpad、rpad 二实战 hive> select lower('Hello World'),upper('Hello World'); OK hello world HELLO WORLD hive> select length('Hello World'),length('你好

【Hive】计算分位数

yuxeaotao的博客

05-16

1万+

hive中有两个函数可以用来计算分位数：percentile和percentile_approx 具体使用方如下：（1）percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。（2）percentile_approx：percentile_approx(col, p)。列为数值类型都可以。 percentile_approx还有一种形式percentile_approx(col, p, .

Hive常用函数大全.pdf

04-14

### Hive常用函数详解 #### 一、关系运算在Hive中，关系运算是非常基础且重要的部分，它包括但不限于等值比较、不等值比较、大小比较等。这些操作对于进行数据筛选、条件判断等都非常关键。 ##### 1. 等值比较 ...

Hive函数大全.pdf

09-09

本篇文章将详细介绍Hive中的一些主要函数，包括数学函数、类型转换函数、条件函数、字符函数、聚合函数以及表生成函数。一、关系运算关系运算是查询语言的基础，用于比较和筛选数据。在Hive中，主要有以下几种...

hive函数大全(中文整合).doc

12-20

此文档包含基本用到的所有函数,每个语法都有详细解释,重点是各语法都有例句,有例句,有例句,欢迎大家学习

大数据hive中窗口函数的一些常用函数

10-19

大数据Hive中窗口函数的一些常用函数窗口函数是Hive中一种强大的分析工具，可以对数据进行复杂的分析和计算。窗口函数可以像聚合函数一样对一组数据进行分析并返回结果，但不同之处在于，窗口函数不是将一组数据...

hive函数大全

01-09

hive函数大全,hive函数大全,hive函数大全,hive函数大全hive函数大全

hive函数大全（中文版）

05-02

一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算： 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9．位取反操作: ~ 10 三、逻辑运算： 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数：CASE 22 4. 条件判断函数：CASE 22 七、字符串函数 23 1. 字符串长度函数：length 23 2. 字符串反转函数：reverse 23 3. 字符串连接函数：concat 23 4. 带分隔符字符串连接函数：concat_ws 23 5. 字符串截取函数：substr,substring 24 6. 字符串截取函数：substr,substring 24 7. 字符串转大写函数：upper,ucase 24 8. 字符串转小写函数：lower,lcase 25 9. 去空格函数：trim 25 10. 左边去空格函数：ltrim 25 11. 右边去空格函数：rtrim 25 12. 正则表达式替换函数：regexp_replace 26 13. 正则表达式解析函数：regexp_extract 26 14. URL解析函数：parse_url 26 15. json解析函数：get_json_object 27 16. 空格字符串函数：space 27 17. 重复字符串函数：repeat 27 18. 首字符ascii函数：ascii 28 19. 左补足函数：lpad 28 20. 右补足函数：rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数: avg 30 4. 最小值统计函数: min 30 5. 最大值统计函数: max 30 6. 非空集合总体变量函数: var_pop 30 7. 非空集合样本变量函数: var_samp 31 8. 总体标准偏离函数: stddev_pop 31 9. 样本标准偏离函数: stddev_samp 31 10．中位数函数: percentile 31 11. 中位数函数: percentile 31 12. 近似中位数函数: percentile_approx 32 13. 近似中位数函数: percentile_approx 32 14. 直方图: histogram_numeric 32 九、复合类型构建操作 32 1. Map类型构建: map 32 2. Struct类型构建: struct 33 3. array类型构建: array 33 十、复杂类型访问操作 33 1. array类型访问: A[n] 33 2. map类型访问: M[key] 34 3. struct类型访问: S.x 34 十一、复杂类型长度统计函数 34 1. Map类型长度函数: size(Map) 34 2. array类型长度函数: size(Array) 34 3. 类型转换函数 35

HiveSQL分位数函数percentile()使用详解+实例代码

最新发布

12-08

<think>嗯，用户这次是在询问Hive的常用函数，结合之前讨论的ODS层同步场景，看来是在构建数据仓库过程中需要实际应用Hive进行数据处理。用户提到的三个引用都是关于Hive的技术文档，特别是函数和优化相关内容，说明用户需要的是开发实战指南而非理论概述。从用户身份推测应该是大数据开发工程师或数据仓库工程师，正在准备面试或实际开发工作。深层需求可能是系统掌握Hive函数体系，避免在ETL开发中踩坑。考虑到之前讨论过ODS层同步，用户可能尤其关注数据清洗和转换相关的函数。需要重点覆盖这些函数类型： 1 数据清洗类：处理ODS层原始数据常见的空值、格式问题 2 聚合计算类：满足DWD层指标计算需求 3 时间处理类：业务场景中高频使用的日期转换 4 高级分析类：开窗函数等复杂分析场景 5 优化技巧：防止数据倾斜等生产环境问题特别要注意引用[2]中提到的生产级技巧和避坑指南，这是用户容易忽略但实际开发中至关重要的部分。比如count(distinct)导致的数据倾斜问题，很多初级开发者都会中招。对于函数说明要强调三点：使用场景、性能影响、替代方案。例如当用户需要去重计数时，除了count(distinct)还要提供近似统计方案。每个函数最好配上真实业务场景的SQL示例，比如订单分析、用户行为日志处理等。最后需要关联之前讨论的ODS层同步场景。比如在讲解时间函数时，可以说明如何用from_unixtime处理ods层同步过来的时间戳字段，保持技术栈的连贯性。 </think> 以下是大数据开发中Hive的核心常用函数分类及典型场景解析，结合生产实践与性能优化建议： --- ### 一、数据清洗与转换函数 1. **字符串处理** - `regexp_extract(string, pattern, idx)`：正则提取日志字段 ```sql -- 提取URL中的域名 SELECT regexp_extract(url, '^(https?://[^/]+)', 1) AS domain FROM log_table; ``` - `split(string, delimiter)`：拆分字符串为数组 ```sql SELECT split('a,b,c', ',')[0] AS item1; -- 输出 'a' ``` - `concat_ws(sep, str1, str2...)`：安全拼接字符串（防NULL）[^1] 2. **空值处理** - `coalesce(value1, value2, ...)`：返回第一个非NULL值 ```sql SELECT coalesce(user_name, 'unknown') AS safe_name FROM users; ``` - `nvl(value, default)`：NULL替换为默认值 --- ### 二、聚合与统计函数 1. **基础聚合** - `count(distinct col)`：去重计数（**慎用大表**，易倾斜） - `approx_count_distinct(col, rsd)`：HyperLogLog近似去重（误差<2.5%）[^2] ```sql -- 亿级用户UV统计（性能提升10倍+） SELECT approx_count_distinct(user_id, 0.01) AS uv FROM behavior_log; ``` 2. **高级聚合** - `collect_set(col)`：去重聚合为数组 ```sql -- 用户最近浏览的3个商品 SELECT user_id, collect_set(product_id)[0:3] AS recent_views FROM click_log GROUP BY user_id; ``` --- ### 三、时间处理函数 | 函数 | 场景示例 | 输出示例 | |--------------------------|-------------------------------|------------------| | `from_unixtime(ts, fmt)` | 时间戳转日期 | `2023-08-15` | | `unix_timestamp(string)` | 字符串转时间戳 | `1692086400` | | `date_add(start, days)` | 计算未来日期 | `2023-08-20` | | `datediff(end, start)` | 计算日期差值 | `30` (天) | --- ### 四、开窗函数（核心生产力工具） 1. **排序类** - `row_number()`：唯一序号（**电商TOP-N销量**）[^3] ```sql SELECT product_id, sales, row_number() OVER (ORDER BY sales DESC) AS rank FROM product_sales; ``` - `rank()`：并列排名（相同值同排名） 2. **聚合类** - `sum(col) OVER(PARTITION BY key)`：分组累加（**累计销售额**） ```sql SELECT user_id, order_date, amount, sum(amount) OVER(PARTITION BY user_id ORDER BY order_date) AS cum_sum FROM orders; ``` - `lag(col, n, default)`：取前N行数据（**环比计算**） --- ### 五、优化与避坑指南 1. **数据倾斜解决方案** - **场景**：`count(distinct user_id)`在10亿级数据卡住 - **方案**：改用`group by`+两层聚合 ```sql -- 第一步：先分组预聚合 CREATE TABLE tmp AS SELECT user_id, count(1) AS cnt FROM log GROUP BY user_id; -- 第二步：汇总结果 SELECT sum(cnt) AS total_users FROM tmp; ``` 2. **参数调优模板** ```sql SET hive.auto.convert.join=true; -- 开启MapJoin SET hive.groupby.skewindata=true; -- 倾斜分组优化 SET hive.exec.parallel=true; -- 任务并行化 ``` --- ### 六、函数选择决策树 ```mermaid graph TD A[需求类型] --> B{是否去重统计} B -->|是| C[大表？] C -->|是| D[approx_count_distinct] C -->|否| E[count(distinct)] A --> F{是否排序} F -->|是| G[row_number/rank] A --> H{是否累计计算} H -->|是| I[sum() OVER] ```