SQL ON Hadoop函数

最新推荐文章于 2025-07-31 10:29:01 发布
原创 最新推荐文章于 2025-07-31 10:29:01 发布 · 518 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章预览：

1.内置函数

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inFunctions

1. show functions

查看所有的函数
在这里插入图片描述

2. desc function 函数名

在这里插入图片描述
如上图，这个只是简单的函数描述，并没使用的例子，想要example，用下边的语句

3. desc function extended 函数名

在这里插入图片描述

2.函数查看

1. current_date()

在这里插入图片描述

2. current_timestamp()

在这里插入图片描述

3. unix_timestamp()

#此函数参数为空时，被标记为过时，用上边的current_timestamp()函数在这里插入图片描述

4. from_unixtime()

在这里插入图片描述

5. to_date(expr)

在这里插入图片描述

6. year(date)

在这里插入图片描述

7. hour(date)、year(date)、weekofyear(date)

在这里插入图片描述

8. lpad()

在这里插入图片描述

9. regexp_replace

在这里插入图片描述

10. concat

在这里插入图片描述

11. concat_ws #连接的时候指定连接符

在这里插入图片描述

12 cast

在这里插入图片描述
在这里插入图片描述

13. json_tuple

在这里插入图片描述
在这里插入图片描述

14. parse_url_tuple

在这里插入图片描述

15. case …when

在这里插入图片描述

下图为表的原始数据
在这里插入图片描述

16.case…when的另一种写法

在这里插入图片描述

17. if

在这里插入图片描述

18. 综合使用

下图为原始数据
在这里插入图片描述
如下对上步的原始数据进行解析
在这里插入图片描述

SQL on Hadoop技术综述与主流SQL
二三是廿三的博客
05-02 1341
SQL on Hadoop技术综述 一、系统架构 runtime framework v.s. mpp 在SQL on Hadoop系统中，有两种架构： 1、一种是基于某个运行时框架来构建查询引擎，典型案例是Hive； 2、另一种是仿照过去关系数据库的MPP架构，就是参考过去的MPP数据库架构打造一个专门的系统，于是就有了Impala，Presto等等。 前者现有运行时框架，然后套上sql层，后者则是从头打造一个一体化的查询引擎。 对于SQL on Hadoop系统很重要的一个评价指标就是：快。 DAG v
hive中时间日期函数的使用
~~~~~~常思~~~~~
05-05 3万+
 to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出：2015-04-02 from_unixtime：转化unix时间戳到当前时区的时间格式 select from_unixtime(1323308943,’yyyyMMdd’); 输出：20111208 unix_timestamp：获取当前unix时间戳
Hadoop之Hive函数
柳小葱的博客
05-04 2748
????各位小伙伴，大家好，昨天我们学习了Hive中特别重要的内容分区表和分桶表，感兴趣的的小伙伴可以查看????: 分区表: Hadoop之Hive的分区表. 分桶表: Hadoop之Hive分桶表. ????今天我们来学习Hive的函数部分，这一部分内容较多，也很重要！ 这里写目录标题1.Hive函数的分类2.查询系统自带函数3.常用的内置函数3.1 NVL 空字段赋值3.2 CASE WHEN THEN ELSE END3.3 CONCAT （行转列）3.4 EXPLODE（列转行）4.窗口函数参
Hadoop基础教程-第12章 Hive：进阶（12.1 内置函数）（草稿）
与其临渊羡鱼 不如退而结网
07-15 322
第12章 Hive：进阶 12.1 内置函数 为了方便测试Hive的内置函数，需要构造一个类似于Oracle的dual虚表 hive> create table dual(value string); OK Time taken: 0.117 seconds hive> hive> insert into dual values("test"); WARNING: H...
hadoop函数说明图
weixin_34198762的博客
06-25 336
hive常用日期函数
不负青春、不负卿
08-10 950
hive常用日期函数
hive日期函数转化
top8488.top大数据
04-12 2811
1、to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出：2015-04-02 1 2 2、from_unixtime：转化unix时间戳到当前时区的时间格式 select from_unixtime(1323308943,’yyyyMMdd’); 输出：20111208 1 2 3、unix_timestamp：获取当前uni...
梁堰波-SQL on Hadoop for 10 years
01-30
在过去的十年中，随着Hadoop技术的不断发展和成熟，SQL on Hadoop作为一项关键的技术也经历了显著的变化。Hadoop作为一个开源的分布式存储与计算框架，其核心版本中已累积了超过170万行代码，有着超过12000次的提交...
开源的SQL on Hadoop工具比较
12-31
下面将对几个流行的开源SQL on Hadoop工具进行比较和介绍。 1. Apache Hive Hive是大数据领域非常流行的数据仓库工具，它允许用户使用类SQL查询语言HQL来执行查询，这些查询最终会被转换成MapReduce作业在Hadoop...
37、MapReduce 测试与 SQL on Hadoop 技术
最新发布
c2d3e4f的博客
07-31 58
本文详细介绍了 MapReduce 开发中的常用测试工具，包括 MRUnit、LocalJobRunner 和 MiniMRYarnCluster，并分析了它们的优缺点及适用场景。同时，文章探讨了 SQL on Hadoop 技术，涵盖 Hive、Impala 和 Spark SQL 的基本功能、使用示例及性能对比，帮助开发者根据实际需求选择合适的测试和数据处理工具。
【Apache Drill终极指南】：解锁SQL on Hadoop的全潜力
Apache Drill是支持SQL on Hadoop技术的开源查询引擎，旨在为大数据分析提供高效、灵活的SQL查询能力。本文首先介绍了Drill的安装与配置流程，包括系统要求、环境设置、存储插件配置及性能调优。随后，深入探讨了...
python-日期函数
huskyKKK的博客
08-18 1287
日期函数 导入模块：import time 1.获取时间戳 时间戳是指格林威治时间自1970年1月1日（00:00:00 GMT）至当前时间的总秒数 print(time.time()) 2.获取时间元组 localtime = time.localtime() print(localtime) 3.格式化时间 localtime = time.localtime() print( time.asctime()) 4.自定义格式化时间 str format time localtime = time.
Spark Sql常用函数
mypowerhere的专栏
04-12 5777
current_date() 当前日期 select current_date(); --2022-02-22 now() 或 current_timestamp() 当前时间 select now(); select current_timestamp(); --2022-02-22 22:22:22 datediff(endDate, startDate) 日期相差天数 select datediff('2022-02-22','2022-02-20'); --2 months_bet...
Hive中日期函数总结
热门推荐
qq646748739的专栏
09-16 5万+
--Hive中日期函数总结: --1.时间戳函数 --日期转时间戳：从1970-01-01 00:00:00 UTC到指定时间的秒数 select unix_timestamp(); --获得当前时区的UNIX时间戳 select unix_timestamp('2017-09-15 14:23:00');  select unix_timestamp('2017-09-15 14:23
sql中on、where、having的区别
weixin_43820434的博客
06-26 976
Unknown column 'DEPTNO' in 'having clause'
hive 日期函数小结
lxpbs8851的专栏
09-16 5万+
1. to_date(expr) - Extracts the date part of the date or datetime expression expr
HiveQL函数4—日期函数
MAYIBO—BG的专栏
01-21 1135
目录1.from_unixtime(bigint unixtime[, string format])2.unix_timestamp()3.unix_timestamp(string date)4.unix_timestamp(string date, string pattern)5.to_date(string timestamp)6.year(string date)7.quarter(d...
hive中常见的日期函数
li1579026891的博客
01-26 8495
常见hive的时间函数 1、时间戳转化为日期函数 from_unixtime('1566390082') from_unixtime('1566390082', 'yyyy-MM-dd') from_unixtime('1566390082', 'yyyyMMdd') 2019-08-21 20:21:22 2019-08-21 20190821 2、将日期转换为时间戳 unix_timestamp('2019-08-21 20:21:22') unix_timestamp('2019-08-.
Hadoop SQL系统性能比较与优化策略研究
同时，文章也探讨了未来的研究方向，例如将更高级的SQL特性（如窗口函数、子查询等）无缝融入Hadoop环境，以及与新兴的大数据处理框架（如Spark SQL）的协同工作。 这篇论文为读者提供了关于Hadoop上SQL系统发展的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值