hive 查找函数并查看函数使用方法

hive创建自定义函数 由于关系型数据库中的函数在Hive中不能完全支撑,所以当项目需要关系型制定的函数时,我们可以通过编写Java来编写自定义函数.编写一个 1、示例: (1)必须导入两个jar包:      如下图中绿色方框中的jar包,在网上可下载到 (2)创建类必须继承UDF类 (3)类必须重写evaluate方法      方法可以重载,根据自己的需求编写自己的方法 (4)写好之后测试无误,打包 阅读详情

hive 查找函数并查看函数使用方法

原创  2017年12月21日 18:08:23
  • 183

1. 查看month 相关的函数

show functions like '*month*'

输出如下:

2.查看  add_months 函数的用法

desc function add_months;

3. 查看 add_months 函数的详细说明并举例

desc function extended add_months;



到这里一个简单的UDF就写完了,然而我们怎么去使用它呢? 
如下面的例子 
部署 Jar包 
hdfs -dfs -put czy_hivetest.jar ‘hdfs:///user/hadoop/hiveUDF’ 
创建永久函数 
需在Hive中执行sql语句,格式如下:

CREATE FUNCTION [db_name.]function_name AS class_name
[USING JAR|FILE|ARCHIVE 'file_uri' [, JAR|FILE|ARCHIVE 'file_uri'] ];
  • 1
  • 2

例如

CREATE FUNCTION db_name.getResult AS ' test.UDFTest'
USING JAR  'hdfs:///user/hadoop/hiveUDF/czy_hivetest.jar';
  • 1
  • 2

创建临时函数

CREATE TEMPORARY FUNCTION getResult AS ' test.UDFTest';
 SELECT getResult ("22,11,33", "11,33,22",",") FROM YDBTest;
 DROP TEMPORARY FUNCTION getResult ;
  • 1
  • 2
  • 3

创建一个临时函数,指向对应的UDF类就可以在之后的sql中使用这个函数啦,使用完了记得drop掉这个函数哦。 

函数需要属于某个库,如库名为test,当其他库调用的时候,需要加上库名,如“test.getResult ” 
调用方式: select test.getResult (‘127.0.0.1’,’192.168.0.1’,’.’) as result; 
如果是临时函数的话,则不能添加库名。
Hive函数使用方法 Hive支持的存储数的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。-- 使用as语法 将查询的结果直接创建成一张表,会自定识别表中的数据类型,在进行表创建时会将数据写入hdfs。逻辑表中的数据,最终需要落到磁盘上,以文件的形式存储,有两种常见的存储形式。,可以在建表的时候指定表数据按照那种压缩方式存储数据,zlib压缩的占用空间少,但是消耗的时间。-- 随机采样过程 hash(cls)%3 余数相同的数据会放在一个桶。 阅读详情

相关推荐

hive 函数使用详解

hive 函数使用详解

congge_study的博客 8302

Hive查询函数

0.函数查询 1.显示所有系统函数 show functions; 2.查询有关日期的函数 show functions like "*date*" 3.查看函数说明 desc function 'current_date'; 一.空字段赋值 给值为NULL的数据赋值,它的格式是NVL( value,default_value)。它的功能是如果value为NULL,则NVL函数返回default_value的值,否则返回value的值,如果两个参数都为NULL ,则返回NULL。

asd623444055的博客 4369

java三角套利_三角对冲套利-EA原理全解析

它是两个直盘货币和一个交叉盘货币之间的相互对冲,交易员往往受到外界因素的影响无法严格执行造成亏损。该系统经过大量数据统计分析和严格的科学论证计算,并通过多年实盘交易验证可以达到稳定盈利。希望交易员严格按照交易规则执行。此策略利用交叉外汇对的市场价格与其合成价格的价差来实现套利,还以EUR/USD和GBP为例:1,我们关注三个外汇对:EUR/USD,GBP/USD,以及GBP/EUR2,计算GBP/...

weixin_29531897的博客 2418

【Hive】12-函数

用户自定义函数( UDF )是一个允许用户扩展 HiveQL 的强大的功能。正如我们将看到的,用户使用 Java 进行编码。一旦将用户自定义函数加人到用户会话中(交互式的或者通过脚本执行的),它们就将和内置 的函数一样使用,甚至可以提供联机帮助。 Hive 具有多种类型的用户自定义函数,每一种都会针对翰人数据执行特定“一类”的转换过程。 在 ETL 处理中,一个处理过程可能包含多个处理步骤。 H...

通往神秘的道路的专栏 841

STM32无线遥控小车的设计

基于SPI通信的无线摇杆小车的设计

weixin_69414084的博客 2929

本地部署静态网站托管平台 Netlify 并实现外部访问(Windows 版本)

Netlify 是一款基于云计算的网站部署和托管平台,专为开发者提供便捷的静态网站和 Jamstack 应用部署服务。它的能力在于将网站构建、部署、托管以及持续集成等流程高度集成,简化了开发和运维的复杂程度。用户无需关心服务器的配置、维护等工作。本文将详细介绍如何在本地安装 Netlify 以及结合路由侠内网穿透实现外网访问 Netlify。

lyxnwct的博客 524

hive中查找以及查看自定义以及系统的函数及其使用方法

在hive中,经常需要查询自定义的以及系统的函数使用方法,一般情况下在hive中使用下面三个命令即可: 1 查看所有的函数: show functions; 2.查看date相关的函数:(模糊查询) show functions like 函数名 示例:show functions like '*date*' (模糊查询) 3.粗粒度查看函数的使用方法: desc functio...

统木木的博客 3604

保姆级教程:在CentOS 8上用libvirt + QEMU/KVM搭建ARM64虚拟机(含UEFI配置与常见坑点)

本文提供在CentOS 8上使用libvirt + QEMU/KVM搭建ARM64虚拟机的详细教程,涵盖UEFI配置与常见问题解决方案。通过环境准备、特殊配置要点、UEFI固件安装等步骤,帮助用户在x86架构服务器上高效运行ARM64虚拟化环境,特别适合开发测试与跨平台应用场景。

weixin_30292745的博客 132

hive自定义函数function

hive自定义函数

lehsyh的专栏 1319

AHB2eflash 控制器设计笔记

① SRAM② DRAM③ SSD④ SATA⑤ U 盘⑥ 移动硬盘⑦ 机械磁盘eflash。

weixin_46220498的博客 3078

从T型结到Wilkinson:5分钟搞懂功分器选型指南(附最新射频测试数据对比)

本文通过对比T型结、电阻型和Wilkinson三种功分器的核心原理与实测数据,提供了清晰的射频功分器选型指南。文章结合最新的2.4GHz ISM频段测试数据,分析了插入损耗、回波损耗和端口隔离度等关键指标,并针对窄带物联网、射频测试及合成系统等不同应用场景,给出了具体的选型建议和实战提醒,帮助工程师根据系统需求做出最优决策。

bush的博客 305

hive如何查找函数并查看函数使用方法

我们在使用hive函数时经常会出现对函数名、参数使用及返回值等记忆模糊,然后需要到网上各种查找资料。 今天来教大家一种使用hive命令模糊查找相关函数名称、函数的用法及详细说明并举例,较少大家查找资料的时间,提高效率。 1.查看date相关的函数 show functions like '*date*'; OK current_date date_add date_format date_sub ...

fuyun6363的博客 5005

Claude Code(8):使用 skill-creator 打造属于测试人员的 Skills

本文介绍了如何使用Claude Code的skill-creator工具快速创建测试相关的Skills。skill-creator是一个专门用于创建新Skills的Skill,相比手动创建更高效。文章详细演示了安装skill-creator的步骤,并通过创建"测试计划编写助手"的实战案例,展示了如何通过对话方式定义Skill名称、触发条件和功能需求。skill-creator会自动生成完整的SKILL.md文件和目录结构,用户只需确认即可完成Skill创建。

blues_C的博客 527

hive查找函数并查看函数使用方法

1、先进入到hive 2、查看month相关的函数 show functions like '*month*' 输出如下: 3、查看add_months函数的用法 desc function add_months; 3. 查看 add_months 函数的详细说明并举例 desc function extended add_months; ...

goldmei一枝梅的专栏 1863

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

hive之查找函数&查看函数使用方法

hive之查找函数&查看函数使用方法 1.查看month 相关的函数 show functions like ‘month’ 2.查看 add_months 函数的用法 desc function add_months; 3.查看 add_months 函数的详细说明并举例 desc function extended add_months; ...

汪云辉的博客 204

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Hive 查找、查看函数

有些长时间不使用的函数, 经常会忘记函数的使用方式, 甚至忘记函数名, 仅仅记着某某函数可以实现某个功能, 对于这种情况通常是在使用时进行 google, 但是 google 上信息良莠不齐, 对的错的都有, 如果初学者不具有辨识能力, 还是建议直接在 Hive 中查找、查看函数的使用方式 比如我就在网上查了半个小时不知所云, 最后想起直接在 Hive 中查, 豁然开朗. 所以记录一下, 如果以后需要查找函数, 或者查看函数使用方式, 一定一定要先去 Hive 本身中查!!! 下面记录一下语法: 1.查看y

日格一物 826

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

hive详解——函数查看与使用、自定义函数

系统内置函数 查看有哪些函数: show functions; 结果: 查看某函数的解释: desc function upper; 结果: 查看某函数的解释以及示例: desc function extended upper; 结果: 自定义函数 1)Hive 自带了一些函数,比如:max/min 等,但是数量有限,自己可以通过自定义 UDF来方便的扩展...

背离赤道、逆光而行 1万+

hive自定义函数UDF的使用方法

虽然Hive已经提供了很多内置的函数,比如count()、sum(),但是还是不能满足用户的需求,因此提供了自定义函数供用户自己开发函数来满足自己的需求。本实例通过编写自己的UDF,实现通过一个人的出生日期,计算其所属的星座。 一、自定义函数分类 UDF(User-Defined-Function)用户自定义函数,输入一个数据然后产生一个数据; UDAF(User-Defined Aggregat...

Enzo的探索之路 1万+

查找hive表的存储位置并查看表文件大小及分区文件名

(作者:陈玓玏) 有时候我们需要查看Hive表对应文件的文件大小,

小白白的博客 1万+

Hive基础知识(十八):Hive 函数的使用

1)查看系统自带的函数2)显示自带的函数的用法3)详细显示自带的函数的用法。

zuodingquan666的博客 1687

Hive自定义函数和系统函数的查找及使用

Hive自定义函数和系统函数的查找及使用

weixin_42326851的博客 812

hive分区+hive动态分区+hive函数+使用hive实现WC

目录 一、hive分区表 1、创建一个分区表 2、插入一个分区数据 3、查看表数据和HDFS 4、再插另一个分区数据 5、查看表数据和HDFS 6、分区表的好处 二、hive动态分区 1、定义 2、创建一个动态分区表 3、插入数据 4、查看表中数据和HDFS 三、函数function 1、函数分类 2、常用的一些函数整理 (1)时间相关 3、JSON (1)创建一个存放json数据格式的表 (2)插入几条json格式数据 (3)查看数据 (4)使用 j...

qq_43476430的博客 3494
上一篇: hive 到表之间加复制数据 和 hdfs上表导入本地数据 和本地数据导入到 hdfs上表中,和函数的使用
下一篇: 几个连接HiveServer的客户端界面工具
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值