Unrecognized Hadoop major version number: 3.0.0

最新推荐文章于 2024-08-04 04:45:41 发布
原创 最新推荐文章于 2024-08-04 04:45:41 发布 · 1w 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决Hadoop安装问题的一种有效方法：卸载原有版本并安装CDH版本的Hadoop、Hive和HBase。这种方法可以避免一些常见的兼容性问题。
出现这种情况，别费劲想怎么解决了。直接删掉原先的hadoop，安装cdh版本。hadoop hive hbase都安装成cdh版本的
Flink 1.13.5 JsonParseException: Unrecognized token ‘xxx‘: was expecting
SmartSi
04-16 495
在使用 Flink Streaming Kafka Connector 从 Kafka 中读取时，反序列化器指定 `JSONKeyValueDeserializationSchema` 抛出 org.apache.flink.shaded.jackson2.com.fasterxml.jackson.core.JsonParseException: Unrecognized token 'a': was expecting 异常
Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
anguoan的博客
08-18 1271
spark提交job到yarn报错，业务代码比较简单，通过接口调用获取数据，将数据通过sparksql将数据写入hive中，尝试各种替换hadoop版本，最后拿下。2.项目 pom.xml。将相关依赖不打进包中。1.hadoop环境。3.项目集群提交报错。
java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
qq_44920169的博客
01-15 921
注意点在Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2，这个提示依赖问题。注意，你要是本地测试的话，需要把这个打开，要是使用yarn模式的话，需要对其进行注释。解决方法，把pom.xml里面的spark-hive依赖注释掉。当执行spark任务出现以下的情况。
Unrecognized Hadoop major version number:3.0.0报错解决办法
qq_41387313的博客
03-29 6621
如文字标题， 这个问题困扰了我三天，最终还是排查解决了。 这个是运用spark.env.sh里面的hadoop_home_dir路径指向空然后就好了。 原创不易，转发把我文贴上。 ...
MapReduce任务报错：Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1
热门推荐
u013771019的专栏
11-29 1万+
问题描述： 之前写了一个读取RCFile的MapReduce任务，现在放到测试集群上报错了 错误信息： Error: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1 at org.apache.hadoop.hive.shims.ShimL...
＜转载＞Presto对接华为HDFS 3.X，Unrecognized Hadoop major version number解决方案
zhangjiaxx的博客
10-28 1241
简介这篇文章主要介绍了Presto对接华为HDFS 3.X，Unrecognized Hadoop major version number解决方案以及相关的经验技巧，文章约15691字，浏览量532，点赞数4，值得参考！ 一、场景复现 登录命令行： ./presto-cli--server192.168.6.1:10086--cataloghive--schemadefault--debug 创建样例表： CREATETABLEbigdata( idvar...
window使用spark连接HDP-3.1.5.0时报Unrecognized Hadoop major version number: 3.1.1问题
weixin_44448094的博客
01-10 2147
当使用idea使用saprk连接hive时，报以下错误:Unrecognized Hadoop major version number: 3.1.1 pom依赖如下: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.1.4 这个是什么原因导致的报错
最新发布
12-12
具体来说，`java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.1.4` 表明系统无法识别Hadoop的主版本号3.1.4。以下是一些可能的原因和解决方法： 1. **版本不兼容**： - 确保你...
Apache Spark启动spark-sql报错
终回首的博客
08-02 3053
一、问题 安装好spark后，执行spark-sql报错Exception in thread “main” java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 命令 ./bin/spark-sql 报错日志： 2021-08-02 15:00:04,213 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin
Unrecognized Hadoop major version number: 3.0.0 版本冲突解决
m0_49945160的博客
07-05 6102
hive与hadoop的兼容性问题 1. 问题出现 工作需要，在本地安装hive进行相关测试工作，版本选的是hadoop-3.0.0，hive-2.1.1。这个版本是按照CDH集群版本配的，本来以为没有冲突 #执行初始化hive元数据库时报错 schematool -initSchema -dbType mysql #报错信息 Exception in thread "main" java.lang.IllegalArgumentException: Unrecognized Hadoop major
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0
zhu_zhu_zhu_zhu_zhu的博客
09-17 5529
Spark本地使用IntelliJ IDEA连接Hive关于“Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0”的报错解决 对于这种报错，可能的一种原因是由于pom.xml文件中的hadoop版本与本地环境中的hadoop版本不同造成。 这种报错原因的解决方案：将pom.xml文件中的hadoop版本与本地环境中的hadoop版本统一即可。 ...
spark写hive报错 （Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1）
TaiYangb的博客
11-26 4002
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1 业务场景：spark 抽取ck数据进Hive 结论：CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错 办法： 1：去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错) <!-- <dependency>--&
初始化：Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0
qq_24124639的博客
01-01 2308
mysql整合hive，初始化（bin/schematool -initSchema -dbType mysql -verbos）时一直报 Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0 删了重配四五遍后无果， 最后在linux配置变量里发现/etc/profile里发现，之前的有配置hive2.7.0的环境变量。 将环境变量改为新的hive-3.1.2的
HDP SparkSql远程操作Hive时的报错Unrecognized Hadoop major version number: 3.x.x处理，适用于spark2.x与hive3.x之间的交互
nntiek的博客
08-04 1059
1.首先是spark2.3.2依赖包spark-hive_2.11下的hive-exec.1.2.1.spark2.jar这个包没有对hadoop3.0的支持。而且我也按照大佬讲的设置了，也没有生效，换成我自己的spark版本号就可以用了，也没那么多时间深究，奇怪就先奇怪吧。HDP版本3.1.4，Hadoop3.1.4，Spark2.3.2，Scala2.11.x，Hive3.1.0。hive3.x后开始支持ACID，默认是开启的，但是Spark2.x不支持读取ACID表。这个地方我是无比懵比的。
spark 集群启动出现 Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
前方的路在刚开始
08-06 1883
spark使用hive中有比较多的坑，尤其是版本问题引起的jar包冲突，比较好的方式是使用与CDH匹配的hive和hadoop版本，这样可以减少很多的jar冲突问题，但是在IDEA调试过程中还是难免会碰到jar包冲突问题。...
cdh6.3.2 spark Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2报错问题
qq_34444616的博客
04-16 2381
cdh6.3.2 spark Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2报错问题将scala spark提交到yarn环境报错解决办法 将scala spark提交到yarn环境报错 找了半天没有找到是为什么通过报错信息找到报错的类ShimLoader找到报错的行数。 从这里看到他去拿了一个version-info.properties的文件 在第一个类里面它去case了 值这里对应的是3（3.0.0-cdh6.3.2）所以报错了
Hadoop-----Unrecognized option: -jvm
凡星闪点
11-10 2970
情景描述：         在VM虚拟机上，按照hadoop手册，搭建Single Node.         启动hadoop时   #./start-all.sh         报错：         #######################################################          localhost: Unrecognized op
kettle 连接Hive时报错Illegal Hadoop Version: Unknown
kamisamak的博客
04-15 1175
Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver) Illegal Hadoop Version: Unknown (expected A.B.* format) 将自己hadoop对应版本的hadoop-common.jar(我的是hadoop-common-2.6.0-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老马识途2.0

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值