Hive中UDF函数包含HttpClient依赖冲突

最新推荐文章于 2024-03-29 11:18:42 发布
最新推荐文章于 2024-03-29 11:18:42 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive2.3+ 从入门到实战 文章标签： Hive HttpClient Hive中UDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/silentwolfyh/article/details/89218818
博客详细介绍了在Hive中使用UDF时遇到的HttpClient依赖冲突问题。作者通过定位代码、检查CDH5.14.4中httpclient的版本、替换pom依赖以及解决jar包冲突，逐步解析了解决这一问题的步骤。内容涵盖httpclient的4.2.5和4.5.3版本的Get、Post方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、错误信息

二、问题分析及解决

第一：定位代码如下
第二：查看CDH5.14.4中httpclient的版本
第三：替换pom中的依赖包
第四：有jar包冲突了需要排除，如下所示

三、httpclient-4.2.5版本Get，Post方法

四、httpclient-4.5.3版本Get，Post方法

一、错误信息：

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String aks.AksDecryptUDF.evaluate(java.lang.String)  on object aks.AksDecryptUDF@4eb30d44 of class aks.AksDecryptUDF with arguments {CCnQwueHtw7LQmTYPWBkrg==:java.lang.String} of size 1
	at org.apache.hadoop.hive.ql.exec.FunctionRegistry
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark SQL 和 Hive UDF ExceptionInInitializerError getRemoteBlockReaderFromTcp BlockReaderFactory
九师兄
07-04 1058
19/08/08 15:27:56 INFO demo.StructuredUdfDemo: 监听主机：10.26.251.93,端口：9987，日志：ON ,SQL:select id, positions.add_suffix(name,"-class") from person 19/08/08 15:28:09 INFO metadata.Hive: Registering func...
使用Hive UDF时jar包冲突问题及解决方案
SmallCarrot的博客
04-08 2852
问题背景 使用Hive开发UDF，UDF中使用到了com.fasterxml.jackson包中的jackson-databind，版本为2.10.2，pom引用方式如下： <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version&g
Hive - 自定义UDF - HttpClient依赖冲突
行走的树
06-16 1112
1、报错信息： # FAILED: SemanticException [Error 10014]: Line 2:22 Wrong arguments '"蔡徐坤asda EXO"': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public static java.lang.String GetStarKeyWord.evaluate(java.lang.String) on
hive自定义udf函数hive-exec下载依赖不全
张不帅
01-14 1524
修改pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
hive某个字段中包括\n（和换行符冲突）
热门推荐
lhxsir的博客
11-23 2万+
用spark执行SQL保存到Hive中： hiveContext.sql(&quot;insert overwrite table test select * from aaa&quot;) 执行完成，没报错，但是核对结果的时候，发现有几笔数据超出指定范围（实际只包含100/200） 最终排查到是ret_pay_remark 字段包含换行符,解决方案：执行SQL中把特殊字符替换掉 regexp_replace(...
flink集成hive中遇到的问题以及解决方案
leoma2012的博客
12-06 4116
版本： 1）hadoop：2.7.2 2）hive：2.3.4 3）flink：1.11.2 4）os：centos 7.5 1. 首先集成hadoop 1.1 添加如下依赖，因为会有jar包冲突的问题，注意jar包的 ，以及jar包的 ，否则会报类似 hadoop.config找不到的错误 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-hive --&
【Hive六】Hive用户自定义函数(UDF)
bit1129的博客
03-10 691
1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么语言...
一个查询ip归属地的hive udf
云想慕尘的专栏
07-01 1236
背景 工作中会用到查询ip归属地的场景，购买了ip库数据，因官方不提供数据遍历方案，所以无法全量导入到hive中，只能使用udf进行查询。 数据源来自https://www.ipip.net/，数据格式为.ipdb，如：ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
【性能提升】Hive UDF编写与优化：自定义函数的黄金规则
![【性能提升】Hive UDF...通过UDF，用户可以创建自己的函数来扩展Hive的内置函数，处理复杂的数据转换和自定义逻辑。UDF的使用为数据分析师和工程师提供了一个灵活的方式来处理大数据分析，特别是在数据清洗、数据格式
spark SQL （五）数据源 Data Source----json hive jdbc等数据的的读取与加载
weixin_30872733的博客
12-30 224
1，JSON数据集 Spark SQL可以自动推断JSON数据集的模式，并将其作为一个Dataset[Row]。这个转换可以SparkSession.read.json()在一个Dataset[String]或者一个JSON文件上完成。 请注意，作为json文件提供的文件不是典型的JSON文件。每行必须包含一个单独的，独立的有效JSON对象。有关更多信息，请参阅...
Java 调用Hive 自定义UDF
Allen 的技术专栏
04-20 4289
Hive 具有一个可选的组件叫做HiveServer,它允许通过在一定的端口访问Hive. 将自定义的UDF的jar拷贝到安装的hive服务器中（如 /home/hadoop下） 具体的不啰嗦了，看代码吧！、 package com.hive.client; import java.sql.Connection; import java.sql.DriverManager; import
使用apache的HttpClient上传文件到Hive数据仓库
我只是代码搬运工的博客
12-15 1737
上个月，项目中需要实现上传文件到Hvie数据仓库，一开始使用shell语句上传，在本地是OK的。但是部署到客户环境就报错，所以改用HttpClient组件上传。 主要是用来记录一下，不做过多文字解释。 里面注释也有不少，应该够用了。 public Map<String,String> httpPost(String fileName, String path) throws HttpException, IOException { Map...
hive UDF 提取文本中的国家名
a_step_further的博客
02-24 1976
要提取文本中的国家名，我的思路是： 1. 先分词，提取出地区名 2. 将国家名通过外部文件的形式读入HASHSET 3. 对第1步中提取的地区名到2中的HASESET进行查询，如果有，则返回 当UDF需要读取外部文件时，一种方法是在注册函数时用add file 先将文件上传，但这条路我尝试之后没有走通； 第二种方法就是把外部文件先上传到HDFS的一个路径上，再在UDF逻辑中直接读取HDFS上的文件，该方法尝试通过了。
Hive的基本使用2
qq_30122883的博客
03-12 617
查询 [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE ...
Hive的UDF开发踩过的那些坑儿
阿尼古
03-26 4634
hive创建的udf函数，我™好气，日志信息报错都不正常，坑了宝宝大半天排查问题 日志截图如下: 开始执行sql：set role admin 开始执行sql：reload function 开始执行sql：select test_encode_001("datatype_01","ceshi") 任务-T_6013577427031285_20190813164922075_1_1 运行失...
hive语句遇到的反斜杠问题
无知是恶
10-29 3149
需求：regexp_replace(字段wfss,’\\’,’&’) 匹配wfss里数据包含反斜杠’\’，然后再给它替换成’&’, 一开始我只给了两个反斜杠，运行会报错， 搜了一圈，需要四个才行：regexp_replace(字段wfss,’\\\\’,’&’) 后来配调度脚本的时候，加了hive -e"…" 结果报了如下错误： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execut
谈谈Maven依赖原则及如何解决Maven依赖冲突
LittleMagic's Blog
06-27 2013
前言 Maven虽然已经诞生多年，但仍然是当前最流行的Java系项目管理工具之一。在使用Maven的过程中，比较常见也相对难解决的问题就是依赖冲突，Gradle和sbt也同样存在此问题。本文先简述Maven中的依赖原则，然后通过两个例子讲述解决方法。 Maven依赖原则 Maven具有传递依赖（transitive dependency）的特性，即如果组件A依赖组件B，组件B依赖组...
Hive3.X GenericUDF开发个人理解及各种问题解决
LifeIsMad的博客
10-31 1397
GenericUDF实现经纬度坐标转换具体地址，从头到尾嘴对嘴
新版UDF(2.0以后版本HIVE)
weixin_42582611的博客
03-29 634
是 Hive 中用于编写用户自定义函数（UDF）的基类，用于实现简单的数据转换。类被标记为 @Deprecated（即已弃用）。如果你正在维护一个旧的 UDF，应该考虑将其迁移到使用。如果你正在编写一个新的 UDF，应该继承。从 Hive 2.0.0 版本开始，类作为 UDF 的基类。
hive中udf函数
最新发布
03-15
### Hive中自定义UDF函数的创建与使用 #### 创建临时UDF函数 在Hive中可以通过`CREATE TEMPORARY FUNCTION`语句来注册并使用自定义的UDF（User Defined Function）。此命令允许用户将Java类作为自定义函数引入到...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辉哥大数据

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值