Hive教程（十三）---CDH 永久全局Hive的udf函数

最新推荐文章于 2024-09-13 08:10:22 发布
最新推荐文章于 2024-09-13 08:10:22 发布
阅读量1.6k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hive2.3+ 从入门到实战 文章标签： Hive HiveUDF 数据脱敏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/silentwolfyh/article/details/86659134
本文介绍了如何在CDH集群中使用Hive的自定义UDF（UDF函数）进行数据脱敏。首先阐述了业务需求，接着通过一个Demo展示了数据结构和内容。然后详细讲解了创建Hive表并加载数据的步骤，以及如何将UDF函数的jar包上传到HDFS。最后，演示了在Hive中创建并使用UDF函数进行数据处理的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1、需求

2、Demo结构图及数据

3、创建Hive表加载数据

4、创建Hive的UDF函数及结果展示

1、需求：

进行公司需要做数据抽取工作，其中需要通过hive的UDF函数进行数据脱敏

demo下载路径：https://download.youkuaiyun.com/download/silentwolfyh/10939631

2、Demo结构图及数据

数据及操作步骤在doc\data中，Maven中有配置依赖和Jar包名称，只要install就可以打包。
在这里插入图片描述

#数据
1|61234522222000654321|18613718137|abc@163.com|010381199909183217
2|51234522222000654322|18613718126|abc@163.com|020381199909183216
3|41234522222000654323|18613718125|abc@163.com|030381199909183215
4|3123452222
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive 实战：位图 Bitmap 系列-bitmap_and 函数实现解析
SmartSi
06-08 1522
在 ClickHouse 中，bitmapAnd 函数用于计算两个位图 Bitmap 的交集，常用于高效地进行复杂的位运算。而在 Hive 中没有内置的等效函数，我们可以通过创建一个用户自定义函数（UDF）来实现 bitmapAnd。这里将详细介绍如何在 Hive 中实现一个类似 bitmapAnd 的 UDF，包括 UDF 的定义、编译、注册以及使用步骤。
【亲测免费】 Hive Bitmap UDF 教程
gitblog_00698的博客
09-12 739
Hive Bitmap UDF 教程 1. 项目介绍 Hive Bitmap UDF 是一个基于 Apache Doris 的开源项目，旨在为 Hive 和 Spark 环境提供高效的位图（Bitmap）操作能力。通过引入 Roaring64Bitmap 技术，该库显著提高了大数据处理场景中的精确去重效率。它允许开发者在查询过程中以位图形式进行数据的高效存储和复杂运算，如交集、并集、差集等，从而...
提升大数据处理效率的利器：Hive-Bitmap-UDF
最新发布
gitblog_00479的博客
09-13 1195
提升大数据处理效率的利器：Hive-Bitmap-UDF 在大数据处理领域，精确去重是一个常见且重要的需求。传统的count(distinct uuid)方法虽然简单，但在处理大规模数据时性能往往不尽如人意。为了解决这一问题，hive-bitmap-udf项目应运而生。本文将详细介绍这一开源项目，帮助你了解其功能、技术实现以及应用场景。 1. 项目介绍 hive-bitmap-udf是一个基于Ro...
CDH 永久全局udf
柔情岁月的博客
12-13 1028
通过IDEA创建一个maven工程，pom.xml如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...
hive udf 读写存储到hbase的roaringbitmap
qq_34748569的博客
04-01 1881
本项目源码地址 https://github.com/sunyaf/bitmapudf 本项目主要是将hive udf 、roaringbitmap 、hbase集成到一起 打包方法 mvn clean package 然后将target下jar包上传到hdfs指定目录，以方便创建udf函数，或者您也可以直接上传到服务器，通过add jar命令创建udf函数。 本人上传到了/utils/hiveU...
cloudera-hive-cdh6.3.2源码包
07-28
Hive 允许用户自定义函数（UDF），以满足特定的计算需求。源码中的 `udf` 模块包含了内置的 UDF 实现，用户也可以根据 `org.apache.hadoop.hive.ql.udf.generic.GenericUDF` 接口开发自己的 UDF。 8. **Hive ...
编译hive源码-UDF函数
01-20
文章目录hive源码下载地址解压源码包配置pom文件编辑源码编辑UDF函数注册UDF函数编译hive部署编译后的hive包1. 重新部署hive2. 修改原hive hive源码下载地址 hive版本：hive-1.1.0-cdh5.7.0 百度网盘：链接：...
hive-1.1.0-cdh5.7.0.tar.gz免费下载
03-14
6. UDF（User Defined Functions）和UDAF（User Defined Aggregate Functions）：Hive提供丰富的内置函数，同时用户可以自定义函数，扩展其功能。 7. Hive-on-MR和Hive-on-Spark：Hive 1.1.0支持在MapReduce和Spark...
大数据 java hive udf函数的示例代码（手机号码脱敏）
08-19
hdfs dfs -put target/udf-1.0-SNAPSHOT.jar /user/username/udf.jar ``` 接下来，我们需要在 Hive 中注册 UDF 函数： ```sql CREATE TEMPORARY FUNCTION phone_unlooku AS 'com.example.PhoneUnlookU'; ``` 最后...
Hive UDF的学习与使用
菜鸟也学大数据的博客
10-06 719
本篇仅展示UDF完整的操作流程，不包含UDF的具体开发内容 UDF简述 Hive中本身自带很多函数供开发人员使用，但现实情况中，有些特殊情景需要特定的操作，而Hive函数本身是支持扩展的，所以UDF就是自定义函数，在HIve中使用的一种方式 流程步骤 继承UDF类或GenericUDF类 重写evaluate()方法并实现函数逻辑 编译打包为jar文件 复制到正确的HDFS路径 使用jar创建临时/永久函数 调用函数 一.新建maven项目 第一步：新建项目选择maven 第二步：设置.
Hive添加自定义UDF函数
Liam's Blog (AI & BigData)
05-04 1万+
1 编写UDF类 以简单的处理单个字段的UDF函数为例,开发自定义UDF函数需要继承’org.apache.hadoop.hive.ql.exec.UDF’类. 可以通过Maven添加,pom文件中加入(版本号跟Hive版本一致即可): dependency> groupId>org.apache.hivegroupId> artifactId>hive-execartifact
hive中UDF、UDAF和UDTF使用
原创学无止尽
01-20 1万+
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格式： Java Intege
在Hive中编写和注册UDF（用户自定义函数）
weixin_42326851的博客
05-11 2696
在Hive中编写和注册UDF（用户自定义函数）
hive配置永久UDF详解
sunxunyong的博客
06-12 379
2、hive提交任务到yarn执行，需要同步更新本地和hdfs上的hive.tar.gz （hdfs上hive、tez、spark目录下的hive.tar.gz、tez.tar.gz、spark***yarn-archive.tar.gz）每个hs2都要执行：在${HIVE_HOME}下创建auxlib目录，将UDF jar包放到该目录中，这样hive在启动时会将其中的jar文件加载到classpath中。1、修改集群hive-site.xml配置hive.aux.jars.path。
hive udf注册(自定义函数创建)
belialxing的专栏
11-01 1888
【UDF】 上传jar（开发的自定义函数包）： hdfs dfs -mkdir /user/bigdata/udf/cdhudf/ hdfs dfs -chmod 777 /user/bigdata/udf/cdhudf hdfs dfs -rm /user/bigdata/udf/cdhudf/udf.jar hdfs dfs -put /home/bigdata/bin/udf.jar /us...
Hive-创建永久函数
热门推荐
weixin_43907316的博客
03-29 3万+
Hive之创建永久函数 首先将我们写好的自定义函数打包上传到我们的HDFS上 hadoop fs -mkdir /user/hive/jars/ hadoop fs -put /opt/module/datas/1.jar /user/hive/jars/ 然后回到我们的hive中 create function small as 'com.qqhru.hive.LogUDTF' using jar '/user/hive/jars/1.jar'; 此时我们show 一下就可以看到我们刚才创建的方法细心
CDH 创建Hive UDF函数
大数据&数据分析&数据治理
03-18 1109
导入依赖包: hive-exec.jar hadoop-common.jar 注意:函数名必须为 evaluate ，否则hive无法识别！ package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class udfpinyin extends UDF{ public static void main(String[] args) { udfpiny...
Hive部署UDF永久函数
杨鑫newlife的专栏
08-28 1041
1.将写好的UDF函数打包jar，并上传到服务器某个目录。 2.替换HDFS内Jar包 使用命令先删除、后上传。 hdfs dfs -rm -r /udf/DataMask-1.0-SNAPSHOT-jar-with-dependencies.jar hdfs dfs -put /home/webserver/jars/DataMask-1.0-SNAPSHOT-ja...
CDH5.5.0环境下Hive详细安装部署教程
- **自定义函数添加**：根据需求编写UDF（用户自定义函数），并将它们添加到Hive环境中，以扩展Hive的功能。 6. **运行状态检测及维护** - **进程查看**：使用操作系统命令检查Hive相关进程是否正常运行。 - **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辉哥大数据

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值