Kylin报错classnotfound:org.apache.hadoop.hive.serde2.typeinfo.typeInfo

最新推荐文章于 2022-05-12 11:55:59 发布
原创 最新推荐文章于 2022-05-12 11:55:59 发布 · 3.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kylin #jar #sentry

本文介绍了解决在升级Kylin 2.1过程中遇到的mapreduce异常问题。异常原因是由于缺失特定的jar包导致，通过查找并指定sentry的正确路径，在Kylin.properties文件中配置该路径后，重启Kylin即可解决问题。

最近新升级了最新的kylin-2.1 build cube的过程中mapreduce抛出异常
java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.typeinfo.TypeInfo

很显然报错是指向jar包问题
在google上找到了解决了方法

find 一下sentry的位置
每个版本的hadoop上都会不一样

在Kylin.properties文件添加查找到的路径

kylin.job.mr.lib.dir=/usr/sentry/lib/
重启kylin即可解决。

Kylin报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException...
杨鑫newlife的专栏
11-26 921
Kylin接入Hive数据时，报错如下： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...
【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...
mukvintt的博客
08-29 994
hive-testbench 需要适配支持 hadoop 3.x 及以上版本
sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
xiaobao5214的博客
11-30 4149
[root@hadoop4 bin]# sqoop create-hive-table  --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t" Warning:...
HiveSerDe2及JsonSerDe源码分析(超详细)
小莫的博客
01-15 1312
转载请注明出处 Hive的数据是存储在HDFS上的,在使用Hive执行操作的时候,实际上是将sql语句解释成MR程序对HDFS上的数据进行读写操作,而一般的,文件在网络传输和存储上都是以二进制(0和1组成的比特流)的方式分发的,这样,如果需要读写数据就要进行序列化和反序列化,这里,简称SerDe,即(Serializer and Deserializer) 通常，我们在HDFS上有一个JSON格式...
【HIVE】问题汇总（持续更新）
lin86182824的博客
07-29 3937
1、hive sql报错Error: Error while compiling statement: FAILED: SemanticException UDF reflect is not allowed。 set hive.server2.builtin.udf.blacklist=empty_blacklist; set hive.server2.builtin.udf.blacklist; select t1.device_id, t1.appsflyer_id, t1.dt as server_
【azkaban】 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo
依旧的博客
12-16 6006
在调度sqoop同步hive分区表时出的错误 解决方式： 检查sqoop/conf目录是否有hive-site.xml 没有就从hive/conf目录下拷贝 cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf 检查sqoop/lib是否存在以下hive依赖包
Hive-java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
weixin_30633507的博客
05-27 1006
Task with the most failures(4): ----- Task ID: task_1555476136794_8201_m_000000 URL: http://hadoop1:8088/taskdetails.jsp?jobid=job_1555476136794_8201&tipid=task_1555476136794_8201...
hbase报错 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
热门推荐
毛毛的博客
07-01 1万+
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 在启动了hbase后使用hbase shell 查看当前数据库中有哪些表 list 命令报错，而且发现jps各个服务都启动了， 原因：hadoop的安全模式打开，解决方法： 关闭安全模式 ，再重新启动HBase就可以了 1、查看namenode是否是安全状态 hadoop dfsadmin -safemode get
CDH Sqoop 同步Mysql 数据至hive 报错The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver“)
爱摄影的小章同学的博客
05-12 1089
CDH Sqoop 同步Mysql 数据至hive 报错，报错内容为 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“org.apache.derby.jdbc.EmbeddedDriver”) was not fou
启动hive报错java.net.ConnectException: Call From hadoop102/172.21.x.x to hadoop102:9000 failed on connec
yidianyidei的博客
08-11 2377
文章目录启动 hive 报错报错分析结论解决 启动 hive 报错 [root@hadoop102 hive]# bin/hive 报错 Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.net.Conne
【报错】Hive：cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector
weixin_42130167的博客
03-25 9305
Hive使用过程遇到报错： Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.objectinspector.StandardStructObjectInspector cannot be cast to org.apache.hadoop.hive.serde2.objectinspector.Pri...
Hive 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
qq_36874480的博客
05-09 1659
hive –service hiveserverException in thread “main” java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLClassLoader1.run(URLClassLoader.java:366)atjava.ne
hive连接报错-java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
一立方星空
12-07 3623
hive连接报错-java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport 报错信息： Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport org.springframework.web.util.NestedS
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServerException
JSON_ZJS的博客
07-16 5511
[root@Spark1 hadoop]# hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/service/HiveServerException at java.lang.Class.forName0(Native Method) at j...
org.apache.hadoop.hive.serde2.io.ParquetHiveRecord cannot be cast to org.apache.hadoop.io.BytesWrita
时间(实践)是检验真理的唯一标准
06-22 1647
Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.io.ParquetHiveRecord cannot be cast to org.apache.hadoop.io.BytesWritable at org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat$1.write(HiveIgnoreKeyTextOutputFormat.java:91) .
Hive：cannot be cast to org.apache.hadoop.io.XXXWritable 数据类型解决方案
weixin_42687074的博客
12-17 9756
一、 1.1 Mysql表 CREATE TABLE `scrm_user_crowd` ( `id` int(11) NOT NULL AUTO_INCREMENT, `zb_id` int(11) DEFAULT NULL COMMENT '直播ID', `user_id` varchar(50) DEFAULT NULL COMMENT '用户ID', `name` varchar(255) DEFAULT NULL COMMENT '人群名称', `de...
报错：java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.SerDeUtils.initializeSerDe
u011159820的博客
03-19 2553
最开始报错： java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams 解决办法： javap -classpath hive-serde-0.13.1.jar org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | grep initSerdeParams 发现类LazySimpleSerDe 中有方法initSerdePa
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
sungang1120的专栏
12-08 523
  今天使用flume采集apache access log到hive表中，然后使用hiveQL进行日志分析，出现错误：     需要修改 1,HIVE_HOME/conf/hive-env.sh 加上HADOOP_HOME=you home   2,HIVE_HOME/conf/hive-site.xml 加上 <property> &l...
hadoop运行报错： java.lang.ClassNotFoundException解决方法
kyrin(云中鹤)
09-01 8890
在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundExcept
n thread "main" java.lang.IllegalArgumentException: Failed to find metadata store by url: kylin_metadata@hbase at org.apache.kylin.common.persistence.ResourceStore.createResourceStore(ResourceStore.java:101) at org.apache.kylin.common.persistence.ResourceStore.getStore(ResourceStore.java:113) at org.apache.kylin.rest.service.AclTableMigrationTool.checkIfNeedMigrate(AclTableMigrationTool.java:100) at org.apache.kylin.tool.AclTableMigrationCLI.main(AclTableMigrationCLI.java:43) Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264) at org.apache.kylin.common.util.ClassUtil.forName(ClassUtil.java:75) at org.apache.kylin.common.persistence.ResourceStore.createResourceStore(ResourceStore.java:93) ... 3 more Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter at java.net.URLClassLoader.findClass(URLClassLoader.java:387) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) ... 7 more
最新发布
11-15
<think> 我们正在处理一个关于Kylin的AclTableMigrationCLI运行时的错误。错误信息包括两个主要部分： 1. `Failed to find metadata store by url: kylin_metadata@hbase` 2. `java.lang.ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter` 根据引用[4]中的信息，类似的问题（启动Kylin出现Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty）的解决方法是修改HBase的配置，将HBase的依赖包添加到classpath中。 具体到我们的错误，第二个错误`ClassNotFoundException`表明类路径中缺少HBase的相关类，特别是`org.apache.hadoop.hbase.filter.Filter`。这通常是因为HBase的jar包没有在类路径中被正确加载。 第一个错误`Failed to find metadata store by url: kylin_metadata@hbase`则表明Kylin无法连接到HBase中的元数据存储。这可能是由于HBase服务未正常运行，或者Kylin配置的HBase连接信息不正确，或者因为缺少HBase的依赖导致连接失败。 结合引用[4]的解决方法，我们可以尝试以下步骤： ### 步骤1: 检查HBase服务状态 确保HBase服务已经启动并运行正常。可以通过以下命令检查： ```bash hbase shell ``` 在hbase shell中执行`status`命令，查看HBase状态。 ### 步骤2: 检查Kylin配置 确认Kylin的配置文件中关于HBase的连接配置正确。主要配置文件是`$KYLIN_HOME/conf/kylin.properties`。检查以下配置项： ```properties kylin.metadata.url=kylin_metadata@hbase ``` 这表示使用HBase作为元数据存储，默认表名为`kylin_metadata`。确保HBase中确实存在这张表（通常Kylin会在初始化时创建）。 ### 步骤3: 添加HBase依赖到类路径 根据引用[4]的解决方案，我们需要将HBase的依赖包添加到Kylin的类路径中。具体操作如下： 1. 打开Kylin的启动脚本`$KYLIN_HOME/bin/kylin.sh`（或`find-env.sh`，具体位置可能因版本而异）。 2. 在脚本中找到设置`CLASSPATH`的地方，将HBase的依赖包路径添加进去。例如，在`kylin.sh`中可能有一行类似于： ```bash CLASSPATH=${KYLIN_HOME}/conf:${KYLIN_HOME}/lib/*:... ``` 我们需要将HBase的lib目录下的所有jar包加入类路径。假设HBase的安装目录是`$HBASE_HOME`，则添加： ```bash CLASSPATH=${CLASSPATH}:$HBASE_HOME/lib/* ``` 注意：如果已经存在HBase的类路径，请检查是否正确；如果没有，则添加。 引用[4]中提到修改`kylin.sh`，在设置`CLASSPATH`的地方追加HBase的lib路径。具体操作可能如下： ```bash # 在kylin.sh中找到设置CLASSPATH的行，然后追加 CLASSPATH=${CLASSPATH}:${HBASE_HOME}/lib/* ``` 另外，确保`HBASE_HOME`环境变量已经设置。如果没有，你需要在脚本中设置，或者直接在命令中使用绝对路径。 ### 步骤4: 检查Hadoop和HBase版本兼容性 Kylin对Hadoop和HBase的版本有特定要求。请确保你使用的Kylin版本与HBase版本兼容。根据引用[2]中的信息，HBase版本为`2.1.0-cdh6.3.1`，Flume版本为`1.9.0-cdh6.3.1`，因此Kylin也应当使用相同CDH版本的发行版。 ### 步骤5: 检查是否有多个HBase版本冲突 如果环境中存在多个HBase版本，可能会导致类加载冲突。确保Kylin使用的HBase依赖与运行的HBase版本一致。 ### 步骤6: 重新启动Kylin服务 修改配置后，重新启动Kylin服务，然后再次运行AclTableMigrationCLI。 ### 步骤7: 手动上传HBase的jar包（备选） 如果以上步骤无效，可以尝试将HBase的jar包手动复制到Kylin的lib目录下（注意版本一致），然后重启Kylin。但这种方法可能会导致依赖冲突，需谨慎。 ### 总结 主要问题在于类路径中缺少HBase的相关类，因此重点是将HBase的jar包加入到Kylin的类路径中。同时确保HBase服务正常运行且配置正确。 如果问题仍然存在，请提供以下信息以便进一步排查： - Kylin、HBase、Hadoop的具体版本 - `kylin.properties`配置文件中关于存储和HBase的配置部分 - 完整的错误堆栈信息 §§相关问题§§ 1. 如何检查HBase中是否存在Kylin的元数据表？ 2. 如何设置Kylin的环境变量？ 3. Kylin与HBase的版本兼容性如何确定？ </think> ### 解决Kylin AclTableMigrationCLI运行时错误的步骤 #### 🔍 错误原因分析 1. **`Failed to find metadata store by url: kylin_metadata@hbase`** 表示Kylin无法访问HBase中的元数据表`kylin_metadata`，通常由以下原因导致： - HBase服务未启动或不可达 - HBase客户端配置缺失 - 元数据表损坏或未初始化 2. **`ClassNotFoundException: org.apache.hadoop.hbase.filter.Filter`** 表明Kylin运行时缺少HBase的核心依赖库（如`hbase-client.jar`），常见于： - HBase类库未加入CLASSPATH - 组件版本不兼容（HBase/Kylin/Hadoop版本冲突） - 环境变量配置错误 --- #### 🛠️ 解决方案 ##### 步骤1：验证HBase服务状态 ```bash # 检查HBase是否正常运行 hbase shell > status # 查看集群状态 > list # 确认存在kylin_metadata表 ``` - 若表不存在，需初始化Kylin元数据：`$KYLIN_HOME/bin/kylin.sh start` ##### 步骤2：修复CLASSPATH配置（关键步骤） 修改Kylin启动脚本，**强制添加HBase依赖库**： 1. 打开`$KYLIN_HOME/bin/kylin.sh` 2. 在`CLASSPATH`配置段追加以下内容（参考引用[4]）： ```bash # 添加HBase依赖库（根据实际路径调整） export HBASE_HOME=/usr/lib/hbase # 替换为你的HBase安装路径 export CLASSPATH=$CLASSPATH:$HBASE_HOME/lib/* ``` ⚠️ **重点**：必须确保路径包含以下JAR文件： - `hbase-client-*.jar` - `hbase-common-*.jar` - `hbase-protocol-*.jar` ##### 步骤3：检查版本兼容性 确认组件版本匹配（参考引用[2]）： ```bash hbase version # 记录HBase版本 kylin version # 记录Kylin版本 hadoop version # 记录Hadoop版本 ``` - 📌 **兼容要求**：Kylin版本需与CDH/HDP发行版一致（如CDH6.3.x需使用Kylin 3.x） ##### 步骤4：手动添加缺失JAR（备选方案） 若仍报`ClassNotFoundException`，直接将HBase JAR复制到Kylin的lib目录： ```bash cp $HBASE_HOME/lib/hbase-client-*.jar $KYLIN_HOME/lib/ cp $HBASE_HOME/lib/hbase-common-*.jar $KYLIN_HOME/lib/ ``` ##### 步骤5：重启服务并验证 ```bash # 停止Kylin $KYLIN_HOME/bin/kylin.sh stop # 启动Kylin $KYLIN_HOME/bin/kylin.sh start # 重新执行迁移命令 $KYLIN_HOME/bin/kylin.sh org.apache.kylin.tool.AclTableMigrationCLI ``` --- #### 💡 预防措施 1. **环境变量标准化**：在`/etc/profile`中明确定义： ```bash export HBASE_HOME=/path/to/hbase export KYLIN_HOME=/path/to/kylin export CLASSPATH=$CLASSPATH:$HBASE_HOME/lib/* ``` 2. **版本控制**：使用同版本CDH/HDP套件安装HBase/Kylin/Hadoop[^2][^4] 3. **权限检查**：确保Kylin用户有权限访问HBase： ```bash kinit kylin_user@EXAMPLE.COM # Kerberos环境 hbase shell -user kylin_user ``` > 📌 **关键提示**：90%的`ClassNotFoundException`错误源于CLASSPATH配置缺失，务必检查`kylin.sh`中的路径配置[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值