Hive常见错误

最新推荐文章于 2024-01-09 10:50:13 发布
原创 最新推荐文章于 2024-01-09 10:50:13 发布 · 1.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive-2.3.6 #hive-1.2.1 #slfj4

Hive常见错误
1. hive启动错误

整合Hbase和MapReduce时，因为导入环境变量后，导致slf4j版本不同，导致的错误

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/apps/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/apps/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

Logging initialized using configuration in file:/opt/apps/hive/conf/hive-log4j.properties
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
	at jline.TerminalFactory.create(TerminalFactory.java:101)
	at jline.TerminalFactory.get(TerminalFactory.java:158)
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
	at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
	at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:230)
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)
	at jline.console.ConsoleReader.<init>(ConsoleReader.java:209)
	at org.apache.hadoop.hive.cli.CliDriver.setupConsoleReader(CliDriver.java:787)
	at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:721)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

解决方法：在使用API将Hbase和MapReduce整合在一起时，需要导入Hbase的相关jar包到Hadoop的目录下，或者使用下面的方法进行临时设置
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/apps/hbase/lib/*

设置完成之后，Hive启动如果产生上述错误，则说明是由于slf4j的版本不同导致的错误
可以将/opt/apps/hbase/lib和/opt/apps/hadoop/share/hadoop/common/lib两个目录下的slf4j的版本统一一下，都是用同一个版本的就可以了

2. hive-1.2.1升级hive-2.3.6
Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer;
        at com.ibm.icu.charset.UConverterAlias.haveAliasData(UConverterAlias.java:131)
        at com.ibm.icu.charset.UConverterAlias.getCanonicalName(UConverterAlias.java:525)
        at com.ibm.icu.charset.CharsetProviderICU.getICUCanonicalName(CharsetProviderICU.java:126)
        at com.ibm.icu.charset.CharsetProviderICU.charsetForName(CharsetProviderICU.java:62)
        at java.nio.charset.Charset$2.run(Charset.java:412)
        at java.nio.charset.Charset$2.run(Charset.java:407)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.nio.charset.Charset.lookupViaProviders(Charset.java:406)
        at java.nio.charset.Charset.lookup2(Charset.java:477)
        at java.nio.charset.Charset.lookup(Charset.java:464)
        at java.nio.charset.Charset.forName(Charset.java:528)
        at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.findCharsetNameFor(Encodings.java:386)
        at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.findCharsetNameFor(Encodings.java:422)
        at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.loadEncodingInfo(Encodings.java:450)
        at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.<init>(Encodings.java:308)
        at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.<init>(Encodings.java:296)
        at com.sun.org.apache.xml.internal.serializer.Encodings.<clinit>(Encodings.java:564)
        at com.sun.org.apache.xml.internal.serializer.ToStream.<init>(ToStream.java:134)
        at com.sun.org.apache.xml.internal.serializer.ToXMLStream.<init>(ToXMLStream.java:67)
        at com.sun.org.apache.xml.internal.serializer.ToUnknownStream.<init>(ToUnknownStream.java:143)
        at com.sun.org.apache.xalan.internal.xsltc.runtime.output.TransletOutputHandlerFactory.getSerializationHandler(TransletOutputHandlerFactory.java:159)
        at com.sun.org.apache.xalan.internal.xsltc.trax.TransformerImpl.getOutputHandler(TransformerImpl.java:438)
        at com.sun.org.apache.xalan.internal.xsltc.trax.TransformerImpl.transform(TransformerImpl.java:328)
        at org.apache.hadoop.conf.Configuration.writeXml(Configuration.java:2707)
        at org.apache.hadoop.conf.Configuration.writeXml(Configuration.java:2686)
        at org.apache.hadoop.hive.conf.HiveConf.getConfVarInputStream(HiveConf.java:3628)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:4051)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:4003)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4jCommon(LogUtils.java:81)
        at org.apache.hadoop.hive.common.LogUtils.initHiveLog4j(LogUtils.java:65)
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:702)
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:686)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

解决方法：删除hbase/lib目录下的phoenix的相关jar包，一般是两个，我的分别是phoenix-4.13.1-HBase-1.2-client.jar和phoenix-core-4.13.1-HBase-1.2.jar

3. Hive初始化MySQL数据库时报错
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:4045)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:4008)
        at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:82)
        at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1117)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决方法：由于hadoop内的guava和hive中的guava版本不一致造成的，可以将hive中低版本中的guava删除，将hadoop的share/hadoop/common/lib中guava复制到hive的lib目录下即可

Hive常见错误排查：50个问题解决方案汇总
AI天才研究院
06-05 837
本技术分析聚焦于Hive常见错误的排查与解决。Hive作为大数据领域重要的数据仓库工具，在实际应用中会遇到各种问题。本文先介绍Hive的概念背景与历史发展，接着从理论层面阐述错误产生的根源，详细给出50个常见错误的具体表现、原因分析及解决方案，还涉及Hive架构设计、实现机制、实际应用中的部署与运营管理等方面的考量，最后探讨高级因素如扩展性、安全性、伦理维度及未来发展方向，并进行综合拓展，为用户在Hive使用过程中提供全面且深入的技术支持。
hive报错集锦
qq_28286027的博客
11-01 1165
hive导入数据报错 报错原因： load data local顺序写反了 改顺序后执行成功： hive (badou)> load data local inpath '/home/dongdong/hive/orders.csv' overwrite into table orders; Loading data to table badou.orders OK Time t...
hive使用报错汇总
邢宁
01-08 2759
报错 Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
Hive 报错
yisun123456的博客
12-04 810
set hive.auto.convert.join=true; set hive.optimize.skewjoin=true; 这两个参数是用于优化数据倾斜的，但是也是会有问题 ClassCastException org.apache.hadoop.hive.ql.exec.ConditionalTask cannot be cast to org.apache.hadoop.hive....
hive报错
成哥万岁
08-20 1504
执行hive语句报下面错误 Exception in thread "Thread-150" java.lang.RuntimeException: Error while reading from task log url at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProce
Hive常见错误及解决方案.docx
10-26
Hive 常见错误及解决方案 Hive 是一个基于 Hadoop 的数据仓库工具，用于存储、查询和分析大规模数据。但是，在使用 Hive 过程中，经常会遇到一些常见错误，影响着整个项目的进度和效率。因此，本文将总结常见的 ...
hive常见错误及解决方案
我的笔记
01-17 1293
大数据自学笔记——hive使用过程中常遇到的异常及解决方法
【已解决】Hive常见错误解决方案
雷恩Layne
05-09 1万+
在学习和工作过程中，遇到的一些Hive常见错误，在此记录下来。 文章目录错误1：guava包冲突错误错误2：Hive启动报错错误3：执行Hive命令报错错误4：使用beeline启动报错错误5：Hive配置tez报错 错误1：guava包冲突错误 Hive3启动报错，Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditio [wxler@wxler1 hive]$ bin/schem
hive 问题解决 Class path contains multiple SLF4J bindings
总钻风
10-23 3132
hive输入命令时出现日志冲突提示（问题不复杂，是个warn，强迫症解决，做项目经常遇到，项目里是处理maven。这里处理方法思路类似。这里选简单的删除日志冲突包，删除hive目录下的包。一种是屏蔽日志冲突包，一种删除多余包。日志冲突提示已消失。
启动和运行hive时遇到的报错（已解决）
大数据
05-29 1万+
一：报错如下 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1380) ... at org.apache.hadoop.util.Run
Hive客户端启动报SLF4J: Class path contains multiple SLF4J bindings.
热门推荐
想练武，就得下功夫
05-25 1万+
使用Hive客户端的时候，如果不注意细节，那么会遇到一个问题：重复打印输出SLF4J信息 文章目录1、出现的问题2、根本原因3、解决方法4、查看最终效果5、PS：hive日志在哪呐？ 1、出现的问题 [root@hadoop11 lib]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/datafs/hive/lib/log4j-slf4j-impl-2.10.0..
【Hive】报错锦集
你不来，再美的天地，都狼藉 ~
06-10 2521
Hive使用过程中遇到的部分问题分享，快来看看吧！
hive启动时错误
Summer2381的博客
09-09 410
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database...
Hive 启动报错
Fal_se的博客
11-19 898
今天启动Hive的时候，hadoop集群启动了，但是启动Hive时出现以下报错 Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/dingyu/639bd8e0-adb2-42f3-99a4
启动hive报错_HIVE搭建和使用
weixin_39634480的博客
11-22 650
HIVE是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发）。如果对延迟性要求比较高，则可以选择Hbase。Hive的工作原理简单的说就是一个查询引擎，接收到一个SQL，然后解析到集群能处理的程序（MR），最后返回结果。前提：需要已经安装配置好hadoop参考：https://zhuanlan.zhihu.com/p/116593502​zhuanlan.zhihu.comHiv...
Hive 报错小结
qianghong000的博客
08-04 2671
官方文档：https://cwiki.apache.org/confluence/display/HADOOP2/NoRouteToHost
Hive常见报错与解决方案
weixin_43465754的博客
01-09 5125
上火山云，大数据组件升级，引发hive各类报错 与处理方案。
hive部署常见问题
最新发布
03-08
### Hive 部署中的常见问题及解决方案 #### 1. 数据库元存储连接失败 当尝试启动 Hive 或执行查询时，如果数据库元存储配置不正确，则可能会遇到连接错误。常见的原因包括 JDBC URL 错误、用户名密码不对或者网络不通等问题。 对于这种情况，建议仔细检查 `hive-site.xml` 文件中的配置项，确保所有参数都已按照实际环境进行了适当设置[^1]。另外还需要确认所使用的驱动程序版本与目标 RDBMS 是否兼容，并将其放置于 Hadoop 的类路径下以便加载。 ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hivemetastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>mypassword</value> </property> ``` #### 2. 缺少依赖包导致的任务提交失败 有时会因为缺少必要的 Java 类而使得 MapReduce 作业无法正常运行，在这种情况下通常会在日志文件里看到 ClassNotFoundException 或 NoClassDefFoundError 提示信息。 为了避免此类情况发生，应该提前准备好所需的所有第三方库并放入 `$HIVE_HOME/lib/` 目录中；也可以通过调整 CLASSPATH 变量来指定额外的 jar 路径[^2]。 #### 3. 表创建语句报错 在定义表结构的过程中如果不遵循 HiveQL 的语法规范就很容易引发异常状况，比如字段名重复、数据类型不符等都会造成 CREATE TABLE 命令执行失败。 针对此现象可以参照官方文档学习正确的 DDL (Data Definition Language) 使用方法[^3]，同时利用命令行工具提供的帮助选项获取更多指导： ```bash $ hive --help ``` #### 4. 查询性能低下 随着业务规模扩大以及复杂度增加，单纯依靠默认参数可能难以满足高效处理海量数据的需求。此时就需要考虑优化策略了——这不仅涉及到合理的索引设计、分区规划等方面的知识和技术手段的应用，更考验着开发人员对整个生态系统架构的理解程度。 为了提高效率，可以通过以下几种方式来进行改进： - 合理选择压缩编码格式； - 设置合适的 map/reduce task 数目； - 对频繁访问的数据集建立缓存机制等等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yanko24

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值