Kylin报错classnotfound:org.apache.hadoop.hive.serde2.typeinfo.typeInfo

最新推荐文章于 2022-05-12 11:55:59 发布
原创 最新推荐文章于 2022-05-12 11:55:59 发布 · 3.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kylin #jar #sentry

本文介绍了解决在升级Kylin 2.1过程中遇到的mapreduce异常问题。异常原因是由于缺失特定的jar包导致，通过查找并指定sentry的正确路径，在Kylin.properties文件中配置该路径后，重启Kylin即可解决问题。

最近新升级了最新的kylin-2.1 build cube的过程中mapreduce抛出异常
java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.typeinfo.TypeInfo

很显然报错是指向jar包问题
在google上找到了解决了方法

find 一下sentry的位置
每个版本的hadoop上都会不一样

在Kylin.properties文件添加查找到的路径

kylin.job.mr.lib.dir=/usr/sentry/lib/
重启kylin即可解决。

Kylin报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException...
杨鑫newlife的专栏
11-26 921
Kylin接入Hive数据时，报错如下： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...
【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...
mukvintt的博客
08-29 994
hive-testbench 需要适配支持 hadoop 3.x 及以上版本
sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
xiaobao5214的博客
11-30 4149
[root@hadoop4 bin]# sqoop create-hive-table  --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t" Warning:...
HiveSerDe2及JsonSerDe源码分析(超详细)
小莫的博客
01-15 1312
转载请注明出处 Hive的数据是存储在HDFS上的,在使用Hive执行操作的时候,实际上是将sql语句解释成MR程序对HDFS上的数据进行读写操作,而一般的,文件在网络传输和存储上都是以二进制(0和1组成的比特流)的方式分发的,这样,如果需要读写数据就要进行序列化和反序列化,这里,简称SerDe,即(Serializer and Deserializer) 通常，我们在HDFS上有一个JSON格式...
【HIVE】问题汇总（持续更新）
lin86182824的博客
07-29 3937
1、hive sql报错Error: Error while compiling statement: FAILED: SemanticException UDF reflect is not allowed。 set hive.server2.builtin.udf.blacklist=empty_blacklist; set hive.server2.builtin.udf.blacklist; select t1.device_id, t1.appsflyer_id, t1.dt as server_
【azkaban】 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo
依旧的博客
12-16 6006
在调度sqoop同步hive分区表时出的错误 解决方式： 检查sqoop/conf目录是否有hive-site.xml 没有就从hive/conf目录下拷贝 cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf 检查sqoop/lib是否存在以下hive依赖包
Hive-java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
weixin_30633507的博客
05-27 1006
Task with the most failures(4): ----- Task ID: task_1555476136794_8201_m_000000 URL: http://hadoop1:8088/taskdetails.jsp?jobid=job_1555476136794_8201&tipid=task_1555476136794_8201...
hbase报错 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
热门推荐
毛毛的博客
07-01 1万+
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 在启动了hbase后使用hbase shell 查看当前数据库中有哪些表 list 命令报错，而且发现jps各个服务都启动了， 原因：hadoop的安全模式打开，解决方法： 关闭安全模式 ，再重新启动HBase就可以了 1、查看namenode是否是安全状态 hadoop dfsadmin -safemode get
CDH Sqoop 同步Mysql 数据至hive 报错The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver“)
爱摄影的小章同学的博客
05-12 1089
CDH Sqoop 同步Mysql 数据至hive 报错，报错内容为 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver”) was not fou
启动hive报错java.net.ConnectException: Call From hadoop102/172.21.x.x to hadoop102:9000 failed on connec
yidianyidei的博客
08-11 2377
文章目录启动 hive 报错报错分析结论解决 启动 hive 报错 [root@hadoop102 hive]# bin/hive 报错 Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.net.Conne
【报错】Hive：cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector
weixin_42130167的博客
03-25 9305
Hive使用过程遇到报错： Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.objectinspector.StandardStructObjectInspector cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.Pri...
Hive 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
qq_36874480的博客
05-09 1659
hive –service hiveserverException in thread “main” java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLClassLoader1.run(URLClassLoader.java:366)atjava.ne
hive连接报错-java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
一立方星空
12-07 3623
hive连接报错-java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport 报错信息： Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport org.springframework.web.util.NestedS
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServerException
JSON_ZJS的博客
07-16 5511
[root@Spark1 hadoop]# hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/service/HiveServerException at java.lang.Class.forName0(Native Method) at j...
org.apache.hadoop.hive.serde2.io.ParquetHiveRecord cannot be cast to org.apache.hadoop.io.BytesWrita
时间(实践)是检验真理的唯一标准
06-22 1647
Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.io.ParquetHiveRecord cannot be cast to org.apache.hadoop.io.BytesWritable at org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat$1.write(HiveIgnoreKeyTextOutputFormat.java:91) .
Hive：cannot be cast to org.apache.hadoop.io.XXXWritable 数据类型解决方案
weixin_42687074的博客
12-17 9756
一、 1.1 Mysql表 CREATE TABLE `scrm_user_crowd` ( `id` int(11) NOT NULL AUTO_INCREMENT, `zb_id` int(11) DEFAULT NULL COMMENT '直播ID', `user_id` varchar(50) DEFAULT NULL COMMENT '用户ID', `name` varchar(255) DEFAULT NULL COMMENT '人群名称', `de...
报错：java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe
u011159820的博客
03-19 2553
最开始报错： java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams 解决办法： javap -classpath hive-serde-0.13.1.jar org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | grep initSerdeParams 发现类LazySimpleSerDe 中有方法initSerdePa
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
sungang1120的专栏
12-08 523
  今天使用flume采集apache access log到hive表中，然后使用hiveQL进行日志分析，出现错误：     需要修改 1,HIVE_HOME/conf/hive-env.sh 加上HADOOP_HOME=you home   2,HIVE_HOME/conf/hive-site.xml 加上 <property> &l...
hadoop运行报错： java.lang.ClassNotFoundException解决方法
kyrin(云中鹤)
09-01 8890
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundExcept
n thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbase at org.apache.kylin.common.persistence.ResourceStore.createResourceStore(ResourceStore.java:101) at org.apache.kylin.common.persistence.ResourceStore.getStore(ResourceStore.java:113) at org.apache.kylin.rest.service.AclTableMigrationTool.checkIfNeedMigrate(AclTableMigrationTool.java:100) at org.apache.kylin.tool.AclTableMigrationCLI.main(AclTableMigrationCLI.java:43) Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264) at org.apache.kylin.common.util.ClassUtil.forName(ClassUtil.java:75) at org.apache.kylin.common.persistence.ResourceStore.createResourceStore(ResourceStore.java:93) ... 3 more Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter at java.net.URLClassLoader.findClass(URLClassLoader.java:387) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) ... 7 more
最新发布
11-15
根据引用[4]中的信息，类似的问题（启动Kylin出现Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty）的解决方法是修改HBase的配置，将HBase的依赖包添加到classpath中。 具体到...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值