Hive UDF调试打印的方法

最新推荐文章于 2025-10-27 14:21:49 发布
原创 最新推荐文章于 2025-10-27 14:21:49 发布 · 7.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #udf

本文介绍了在Hive中调试自定义UDF（User Defined Function）的打印日志方法，包括如何导入相关包，通过LogFactory获取Log对象进行日志输出。日志会出现在Job的日志文件中，可以通过SQL的tracking URL定位到具体任务的logs，并在syslog中查看完整日志。在使用中需要注意，当测试数据较大或日志过多时，可能会超出本地机器的存储限制。

日志的打印

导入用到的包

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

 

通过工厂模式获取一个Log对象：

static final Log LOG = LogFactory.getLog(NewGetKeyWithMaxValue.class.getName());

将NewGetKeyWithMaxValue替换成自己的类名。

 

使用LOG来打印日志：

LOG.info("hello") ;

 

 

日志的定位

日志会输出到Job的日志文件里面，可以在界面上查看。

首先，找到SQL的tracking URL，进入这个链接

 

点击Map或者Reduce查看此SQL执行过程中所执行的map task或reduce task</

最低0.47元/天 解锁文章
基于自定义日志打印的UDAF调试
weixin_33850890的博客
01-09 500
看到最近有一些用户，代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景，所以有一些BUG可能需要到线上用一些简单的测试数据进行调试。这里用最简单的手工打印日志的方法，针对代码调试中最麻烦的UDAF的例子做一次调试。通过问题的定位和解决，希望能给大家在面对UDF的线上调试...
hive udf debug
q79969786的专栏
05-04 2912
1)      以debug模式启动Cli，${HIVE_HOME}/bin/hive --debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh 。 2)      在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Po
详解 Hive UDF 开发：Java 实现步骤与代码调试技巧
最新发布
2501_93878564的博客
10-27 1417
Hive UDF（User-Defined Function）允许用户扩展 HiveQL 功能。：开发后先用小数据集验证，再部署到生产环境。
Hive UDF开发
12-27
详细介绍如何开发hive自定义永久函数，配套有测试数据
hive中打印日志的几种方式实现
weixin_34290631的博客
08-18 1194
在debug hive的问题时，我们经常需要在源码里面增加必要的日志信息，来跟踪变量的变化或者是方法执行的情况，性能等。。hive里面有下面几个日志的实现方式。1种是常用的通过org.apache.commons.logging.Log和org.apache.commons.logging.LogFactory类实现的。比如要打印类的info信息时，只需要下面这样就可以。st...
java使用udf_java – 在Hive中使用UDF调试信息
weixin_42245736的博客
02-27 498
我建了罐子(我没有java经验,所以我只希望我做了这个部分),将它们添加到我的查询中并得到：hive> ADD jar hive-udf-geo-ip-jtg.jar;Added hive-udf-geo-ip-jtg.jar to class pathAdded resource: hive-udf-geo-ip-jtg.jarhive> ADD jar geo-ip-java.ja...
Debug分析Hive UDF的执行流程以及简单示例
JiajunBernoulli的博客
08-15 1176
文章目录前言原理示例 前言 通常编写HQL能方便的使用Hive的UDF，但是对其原理还不太熟悉，于是debug分析了一下它是如何执行的。 原理 以select concat('hello', 'world');为例，先根据functionName获得FunctionInfo 根据参数类型初始化UDF，在调用evaluate进行祭计算 示例 @Test public void testGenericUdf() { String[] dataTypes = new String[]{"St
Hive本地调试
Lucene/Solr解密
02-11 2164
一准备 二事情远没这么简单呢 1 winutilsexe找不到 2 系统找不到指定的文件 3 系统找不到指定的路径 三这样就可以了吗 1 UnsatisfiedLinkError 2 如果还不行 四结尾 虽然已经很习惯看静态代码了，但是这种方式始终很不方便，需要来来回回翻找代码不说，还得自己分析每个变量的值、和路径。因此决定花点时间让代码在IDE上跑起来，然而这个过程在...
Hive学习之路(五):使用自义定函数UDF完成日志数据统计
萧邦主的城邦
04-16 1504
内容简介一、Hive自定义函数UDF简介二、数据准备1.分析日志数据2.需求3.创建原始数据表并导入数据三、使用自义定函数完成日志数据统计1.创建Java工程，添加Maven支持2.创建类LogParser并编写代码3.将代码打包并提交4.执行程序查看结果四、总结 一、Hive自定义函数UDF简介 上一节中，介绍了许多Hive的内置函数，并使用Hive的内置函数实现了WordCount，Hive的...
Hive远程debug步骤
cyh的博客
03-10 1721
1.官网下载hive启动包 我用的包版本为apache-hive-2.3.8-bin.tar.gz，下载完后解压到linux指定目录。 我的路径为 /app/hive/apache-hive-2.3.8-bin 2.官网下载hive源码包 对应的版本为apache-hive-2.3.8-src.tar.gz，下载完后解压到window指定目录， ...
Hive 之 UDF 运用（包会的）
JIE的博客 --- moon_coder
04-06 4063
Hive 支持两种 UDF 函数自定义操作，分别是：GenericUDF（通用UDF）：用于实现那些可以处理任意数据类型的函数。它们的输入和输出类型可以是任意的，但需要在函数内部处理类型转换和逻辑，可以实现更复杂的逻辑处理。UDF：用于实现那些只能处理特定数据类型的函数。每个 UDF 都明确指定了输入参数的类型和返回值类型，使用更为简单。本文采用的是通用 UDF —— GenericUDF 实现方法这里通过一个在 Hive 中实现两数相加的自定义 UDF 案例来进行说明，看完你就会啦，轻松拿捏。在。
Hive UDF函数使用步骤
u011250186的博客
02-16 3043
1.上传jar包到HDFS Hadoop fs -put local_path/test_udf.jar hdfs_path/test_udf.jar 2.创建Hive 永久函数 CREATEFUNCTIONdb_name.test_function_nameAS'com.baidu.traffic.udf.TestFunction'USING JAR'hdfs://hdfs_path/test_udf.jar'; 注：建议创建函数时指定库名，使用...
hive 取消打印日志信息_舍弃Hive、拥抱SparkSQL，有赞的大数据实践
weixin_39711441的博客
10-22 285
本文由 「AI前线」原创（ID：ai-front），原文链接：舍弃Hive、拥抱SparkSQL，有赞的大数据实践作者 | 邹晨俊来源 | 授权转载自微信公众号有赞Coder（ID：youzan_coder）编辑 | NatalieAI 前线导读：有赞数据平台从 2017 年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量 5000 ...
hive 取消打印日志信息_Hive及其相关大数据组件
weixin_39772388的博客
11-22 973
HDFS架构Hadoop 分布式文件系统(HDFS)是 Hive 存储数据的地方，简单了解HDFS的基本机制和读写工作机制，对于排查HiveSQL 程序是否由于数据存储引发的性能问题有较大的帮助。4.3.1 常见HDFS优化常见的关于HDFS的优化角度有：● Hive 作业生成的小文件，过多的小文件会加重NameNode 的负担，导致集群整体性能下降。● 设置合理的HDFS文件块的大小，...
Hive之用户自定义函数UDF获取系统当前时间与打印自己的名字：
Deng872347348的博客
12-27 412
Hive之用户自定义函数UDF获取系统当前时间与打印自己的名字： 获取系统当前时间： package hive; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.hive.ql.exec.UDF; public class myprint extends UDF { //实现一个构造方法，打印自己的名字
hive udf 使用本地文件资源
yangpu002的博客
11-30 646
环境： hadoop：2.6.0 hive：1.1.0 spark：1.6.0需求：自定义一个udf函数，对存放在hive表里面的文章进行切词，同时切词需要使用自定义词库（属于外部资源）问题就是在sql里面使用自定义的udf函数
Hive数据仓库--HiveUDF异常解析与其中的坑
热门推荐
王洋的专栏
11-11 1万+
使用Hive进行分析的过程中遇到了这个异常的信息，一开始看到比较惊讶，因为感觉代码并没有什么不太合理的地方，不过还是抛出了一堆的异常信息，我把日志信息读了一下，发现导致最终异常的是FastJson在封装的时候找不到无参构造函数，虽然最终原因不是Hive引起的，但是上面的一堆异常也的确是唬人的。异常信息Error: java.lang.RuntimeException: org.apache.had
Hive中常用的一些配置操作（日志，显示等操作）
JacksonKing的专栏
05-20 1667
1.修改默认的数据仓库位置，在hive-site.xml文件中配置如下参数： <property> <name>hive.metastore.warehouse.dir</name> <value>自己指定仓库位置（eg:/user/hive/warehouse）</value> </property> 添加好参数以后，需要对指定的目录附上用户组的权限，执行以下命令： $ $HADOOP_HOME/...
Hive从入门到精通（3）—— Hive 3.1.3客户端打印大量日志问题解决
shangjg3的博客
08-04 867
在hive的conf目录下新建。
hive自定义函数 evaluate调试
04-05
### 调试 Hive 自定义函数 `evaluate` 方法 在开发和使用 Hive 自定义函数（UDF、UDAF 或 UDTF）时，`evaluate` 是核心方法之一。它负责执行实际的计算逻辑。为了有效调试该方法，可以采用以下策略： #### 1. 使用日志记录工具 通过引入日志框架（如 Log4j），可以在 `evaluate` 方法中打印中间变量的状态或输入/输出值。这样可以帮助开发者理解程序运行过程中的具体行为。 ```java import org.apache.hadoop.hive.ql.exec.UDF; import org.slf4j.Logger; import org.slf4j.LoggerFactory; public class MyCustomFunction extends UDF { private static final Logger logger = LoggerFactory.getLogger(MyCustomFunction.class); public String evaluate(String input) { if (input == null) { return null; } // 打印日志以便于调试 logger.info("Input received: {}", input); String result = input.toUpperCase(); // 示例操作 // 记录结果便于验证逻辑正确性 logger.info("Output generated: {}", result); return result; } } ``` 这种方法能够清晰展示每一步的数据变化情况[^2]。 #### 2. 单元测试环境搭建 构建独立的单元测试项目，模拟真实环境中传入的各种参数组合到 `evaluate` 函数里去检验其返回值是否符合预期。JUnit 是常用的 Java 测试框架之一。 ```java import org.junit.Test; import static org.junit.Assert.assertEquals; public class MyCustomFunctionTest { @Test public void testEvaluate() { MyCustomFunction function = new MyCustomFunction(); assertEquals("HELLO", function.evaluate("hello")); // 正常路径测试 assertEquals(null, function.evaluate(null)); // 边界条件测试 } } ``` 这种做法不仅有助于发现潜在 bug ，还能提高代码质量[^1]。 #### 3. 利用 IDE 断点调试技术 如果遇到难以定位的问题，则可以直接借助集成开发环境(IDE)，比如 IntelliJ IDEA 或 Eclipse 设置断点逐步跟踪执行流程直至找到错误根源所在位置。 假设我们正在排查为什么某些特殊字符无法被正确转换为大写形式: 1. 在 suspected line 处设置 Breakpoint； 2. 启动 Debug Mode 并加载包含问题样本的数据集； 3. 当程序暂停时检查当前上下文中各个对象的内容直到找出异常原因为止。 此方式特别适合复杂算法或者涉及多个依赖项的情况下的深入探究。 #### 常见问题及解决方案 - **Q:** 如果我的自定义 hive udf 不生效怎么办？ - A: 首先确认 jar 文件已上传至 hdfs 上，并且已经 add jar 成功；其次查看是否有语法拼写上的失误；最后再考虑是不是权限方面存在问题导致加载失败等问题 [^1]. - **Q:** 如何处理大数据量下性能瓶颈？ - A: 可尝试优化内部实现减少不必要的内存分配动作；另外也可以探索并行化可能性从而充分利用集群资源提升效率 [^3]. - **Q:** 对于超长字符串截取需求怎么满足？ - A: 结合业务规则设定合理的长度限制标准之后应用 substring 方法即可达成目标效果 [^4]. ```sql SELECT my_udf(column_name) FROM table WHERE LENGTH(column_name)>MAX_LENGTH ALLOWING TRUNCATION TO '...' ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值