WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Conside

最新推荐文章于 2024-07-01 21:31:18 发布
原创 最新推荐文章于 2024-07-01 21:31:18 发布 · 1.2w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #大数据

本文介绍了在使用Hive进行简单查询时报错的问题，并提供了解决方案：通过编辑/etc/hosts文件添加集群hosts来解决Hive-on-MR的警告。

今天在hive中查询了一个简单的select count(*) from table,结果报错
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Conside

查了一些资料,只要vim /etc/hosts
将你配置的集群hosts都写上去就好了.
在这里插入图片描述
然后再重新启动hive/beeline,执行命令即可

数仓工具—Hive执行引擎(18)
12-27 5万+
Hive 支持MapReduce、Tez、Spark 等计算引擎，今天我们就来尝试使用一些这些引擎
Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(1)
2401_84186109的博客
05-14 468
启动Hive的JDBC服务并使用IDE连接到Hive，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。中已弃用，并且在未来版本中可能不可用。
USDP使用笔记（五）设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
虎鲸不是鱼
03-12 2994
设置Hive on Tez解决return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题
Hadoop报错Caused by: java.io.IOException: Stream closed问题
wangkuangood3200的专栏
11-10 4181
【问题现象】 这几天离线计算平台有个别计算作业运行失败，排查原因，查看平台日志，报错关键信息如下： WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Error: org.apache.hive.s
Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions
Java/Python大数据随笔
11-12 5351
启动Hive的JDBC服务并使用IDE连接到HIve，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。Hive-on-MR在Hive 2中已弃用，并且在未来版本中可能不可用。考虑使用不同的执行引擎（例如Spark、Tez）或使用Hive 1.X版本。我们发现，这就很明显了，说明Hive在。
解决：WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions.
热门推荐
lanachen的博客
07-07 1万+
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(2)
2401_84186109的博客
05-14 355
然后使用hive命令换为Hive的控制台操作，结果依旧如此。
通过maven配置hive-jdbc 3.1.2遇到Could not find artifact org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT问题
xzq1207105685的博客
12-04 9285
目录问题描述解决方案 问题描述 在springboot项目中配置hive-jdbc的maven依赖时遇到： Could not find artifact org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT in apache.snapshots (https://repository.apache.org/snapshots) 到https://repository.apache.org/snapshots下翻了翻确实没有这个相关文件。 解决方案 在配置时排除jav
一劳永逸解决Hive执行insert命令调用MR任务报错问题
03-11 6530
一劳永逸_解决Hive执行insert指令集调用MapReduce任务的报错问题
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions.
ros275229的博客
07-01 716
修改配置后需要重启Hive；
hive on spark部署
1032851561的博客
06-07 1万+
d
hive on spark 部署
yang灬仔
04-29 2791
1. 环境 Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases hive默认使用mr作为计算引擎，当进入cli时会看到以上的提示信息，刚好有hive2.1.0，查了下pom文件，依赖了spark1.6.0，版本
hive 安装入门
chenmingzhong99的博客
11-14 449
hive2 和hive1的区别： Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. 翻译为：Hiv...
hive教程：启动hive客户端
重名又重名
03-12 1781
启动hadoop 需要启动 NameNode 、 DataNode、yarn 启动 NameNode 和 DataNode start-dfs.sh 启动 yarn hive将任务提交给 yarn，所以需要启动yarn start-yarn.sh 启动 hive 客户端 hive 看到下面界面表示启动成功： 红框中 加载之前配置的日志文件 如下提示信息： Hive-on-MR is deprecated in Hive 2 and may not be available in the future
Hive运行的一个错误
丶水溶C的博客
08-09 2270
hive运行卡住，查询日志报错：slave:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由;
Hive on Tez
一名假的程序猿
08-13 2864
参考 http://tez.apache.org/install.html https://cwiki.apache.org/confluence/display/Hive/Hive+on+Tez https://cwiki.apache.org/confluence/display/Hive/Hive-Tez+Compatibility https://github.com/apache...
WARN : Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
最新发布
05-25
### 解决方案概述 Hive-on-MapReduce (MR) 被废弃的主要原因是其性能瓶颈以及社区对其支持逐渐减少。为了应对这一挑战，可以考虑以下两种主要方向：一是升级到更高效的执行引擎（如 Spark 或 Tez），二是继续使用较旧的 Hive 版本（如 Hive 1.x）。以下是针对这两种方法的具体分析和实施建议。 --- #### 替代执行引擎的选择与配置 ##### 使用 Apache Tez Apache Tez 是一种基于 DAG 的计算框架，能够显著提升 Hive 查询的性能。Tez 提供了更高的灵活性和优化能力，适合处理复杂的查询场景[^2]。 - **安装步骤** 需要先确认 Hadoop 和 Hive 已经正确部署完毕。 ```bash # 安装 Tez 并将其路径加入环境变量 export TEZ_HOME=/path/to/tez export HIVE_AUX_JARS_PATH=$TEZ_HOME/share/tez/* # 修改 hive-site.xml 文件启用 Tez 执行引擎 <property> <name>hive.execution.engine</name> <value>tez</value> </property> ``` - **注意事项** 确保集群中的节点已安装并启用了 YARN 支持，因为 Tez 运行在 YARN 上[^3]。 ##### 使用 Apache Spark Spark 是另一种高性能分布式计算框架，尤其适用于迭代型算法和大规模数据集。它通过内存计算提供了更快的速度和更好的资源利用率[^4]。 - **安装步骤** 同样需验证基础组件是否正常运行后再集成 Spark。 ```bash # 设置 SPARK_HOME 变量并将 Spark JAR 添加至 Hive 辅助类路径中 export SPARK_HOME=/path/to/spark export HIVE_AUX_JARS_PATH=$SPARK_HOME/jars/* # 更新 hive-site.xml 来指定 Spark 作为默认执行器 <property> <name>hive.execution.engine</name> <value>spark</value> </property> # 如果需要自定义更多参数可在此处添加其他属性项... ``` - **优势对比** 对于实时性和复杂 ETL 流程而言，Spark 明显优于 Tez；然而对于仅涉及简单 SQL 操作的应用程序来说，则可能无需迁移到如此重量级的技术栈之上[^5]。 --- #### 继续使用 Hive 1.X 版本的方法 如果业务需求不允许迁移或者暂时无法切换新的执行引擎，那么可以选择保留现有的 Hive-on-MR 构架并通过固定特定版本号来规避未来兼容性风险： - **下载对应源码包** 访问官方仓库获取稳定发行版二进制文件或自行编译适合自己操作系统架构的目标产物[^6]。 - **调整依赖关系管理工具设置** 如 Maven POM.XML 中锁定子模块所引用库清单不变动从而维持一致行为模式[^7]. ```xml <dependencyManagement> <!-- 锁定所需构件 --> <dependencies> ... </dependencies> </dependencyManagement> ``` - **测试回归验证流程** 在正式上线前务必进行全面的功能覆盖度检验工作以确保改动不会引入意外副作用影响生产环境稳定性[^8]. --- ### 总结说明 无论是采用新型高效能运算平台还是坚持沿用传统方式都各有优劣之处，在实际操作过程中应当综合考量项目具体情况做出合理判断决策。希望以上信息对你有所帮助！
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值