hadoop一个困扰了一天的bug

最新推荐文章于 2025-09-02 09:00:00 发布
原创 最新推荐文章于 2025-09-02 09:00:00 发布 · 657 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何解决Hive中遇到的NullPointerException错误导致的Join操作失败问题。通过在hive-site.xml文件中设置hive.exec.mode.local.auto=false及hive.auto.convert.join=false来避免在控制台执行Join时出现的问题。

报错：
mr.MapredLocalTask (MapredLocalTask.java:executeInChildVM(351))
java.lang.NullPointerException

设置 hive.exec.mode.local.auto=false 不起作用

可以再hue中正确执行，但是在控制台不能执行join

已解决https://wzktravel.github.io/2016/08/22/hive-join-problem/

set hive.exec.mode.local.auto=false;
set hive.auto.convert.join = false;

注意的是在命令行里设置不起作用，只能到hive/conf/hive-site.xml里面设置才行。

亲密接触Redis-第一天
打造全国最全的AI Agent开发知识领域的博客
02-03 1万+
网上唯一一篇真正正确的教你如何使用redis，避免在使用过程中因为对redis不够了解而在以后实施的过程中碰到各种严重瓶劲的教程，教程内不仅讲述了redis的使用还讲述了如何使用docker来搭建自己的redis微服务以及使用spring + redis来搭建实际生产环境的redis服务，同时该套教程还完整讲述了redis3中的新特性sentinel如何搭建以及在spring中如何访问sentinel的机制。
程序员人生：技术人员的职业发展规划
热门推荐
AI天才研究院
09-27 8万+
工程师在实践中会掌握大量细节，但是，即使掌握了所有细节，却没有深刻的总结和思考，也会陷入到“学而不思则罔”的境地。成长的“量变”来自于对细节的逐渐深入地把控，而真正的“质变”来自于对“道”的更深层次的理解。将经验输出，接受别人的检验是高层次的总结。这种输出不仅帮助了别人，对自身更是大有裨益。总结的方式有很多，包括组织分享，撰写技术文章等等。当然“日三省吾身”也是不错的总结方式。总之，多多总结，多多分享，善莫大焉！解答别人的问题也是个人成长的重要手段。
Hadoop项目启动bug
weixin_34411563的博客
04-28 132
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop的 bug合集
zijin-jdd的博客
03-14 660
【报错1】hadoop 找不到命令 vim /etc/profile source /etc/profile 【报错2】could not find or load main class org.apache.hadoop.util.VersionInfo 配置路径问题 hadoop压缩包不完整，解压时有报错没管。要把已经解压的hadoop和hadoop的压缩包删了，再把hadoop压缩包重新拖入虚拟机，查看hadoop压缩包的大小是否正确。 【报错3】java.net.ConnectExcept
bug填坑|hadoop使用
legendaryhaha的博客
05-24 378
hadoop使用中的bug前言bug1解决bug2解决总结 前言 前一篇文章搭建了hadoop集群，这篇文章，针对的是window上做开发时的日常踩坑。 bug1 这个问题一开始挺郁闷的，HADOOP_HOME and hadoop.home.dir are unset服务器设置环境变量的时候，HADOOP_HOME这个我是有设置的，但这个hadoop.home.dir are unset却是第一次见到。 解决 找了些文章，有些竟然说还需要在windows上部署一个和服务器上版本一样的hadoop。
Hadoop集群配置bug详解
Natsu_natsu的博客
08-23 162
集群配置的bug解决方案
Hadoop 日常学习bug调试(二)
Turn X7
06-26 635
RPC的使用 代码如下： LoginServiceInterface.java package rpc; public interface LoginServiceInterface { public static final long versionID=1L; public String login(String userName,String pwd); } 注意该接口versionID版本号必须设置，否则客户端调用时报错 Exception in thread "m
记一次 spark 跨集群bulk load的问题及解决方法
南风知我意
06-02 2763
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【辉光大小姐手术刀】19 终结ETL的“批处理帝国”——从Hadoop的“隔夜饭”到Flink的“实时血脉”
最新发布
光辉家族小仓库
09-02 1080
以技术手术刀，对大数据处理领域最核心的范式革命——从“批处理（Batch Processing）”到“流处理（Stream Processing）”的演进——进行一次彻底的、贯穿数据世界观的系统性解剖。
【JavaSE系列】世界上“最好的语言”——认识Java编程语言
未见花闻的博客
10-10 1815
⭐️前面的话⭐️ 大家好！这是一个新的系列专栏，本专栏会介绍JavaSE及其应用，Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程 。本篇文章带大家认识Java，知道Java是什么，顺便了解下“世界上最好的语言”。
解决hadoop在windows运行出现的bug
01-11
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：E:\hadoop2.2.0\bin即可。
winutils.exe：解决hadoop在windows运行出现的bug
07-24
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：F:\hadoop2.2.0即可。
Linux调Bug
weixin_30426957的博客
05-06 223
[kris@hadoop101 ~]$ xcall.sh ps -ef | grep zookeeper | grep -v grep | wc -l 3 [kris@hadoop101 ~]$ xcall.sh ps -ef | grep zookeeper | grep -v grep | sort -nrk2 | head -n 1 | awk {'print $2'...
windows上安装Hadoop教程中趟过的bug
OutRoading的博客
05-13 413
教程：https://blog.csdn.net/china1987427/article/details/82057250 此教程中趟过的问题： 1 版本：hadoop用的是3.0.3版本，winutils用的是3.0.0版本，截止目前hadoop虽然有更高版本，但winutils只有3.0.0版本，所以放弃高版本吧。winutils干吗用？hadoop是linux环境上运行的，要在winu...
Hive跑MapReduce报错【已解决】
福贵儿的博客
10-15 2921
1.报错日志 2019-10-14 13:05:18,815 INFO [main]: ql.Driver (SessionState.java:printInfo(1087)) - Query ID = tomcat_20191014130505_85923f08-f137-47a4-9516-c26144f3bfda 2019-10-14 13:05:18,815 INFO ...
Hive报错org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
double_winter的博客
01-18 3744
org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
Hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce
北慕辰的博客，欢迎各位大佬光临！！
05-18 4414
最近在做hive练习题时使用hive查询报错 Hadoop job information for Stage-3: number of mappers: 0; number of reducers: 0 2021-05-18 19:23:54,652 Stage-3 map = 0%, reduce = 0% Ended Job = job_1621330130219_0008 with errors Error during job, obtaining debugging information…
MapredLocalTask报错
10-28 1340
latex首行缩进
Eric_LH的博客专栏
02-21 1万+
LaTeX默认的第一段不是首行缩进的, 这不符合我们的中文习惯. 要实现首行缩进也很简单, 在导言区加入宏包首行 \usepackage{indentfirst} 就可以了. 使用命令 设置 缩进的距离 \setlength{\parindent}{2em}, 这里的 2em 表示缩进 2 个字符位置. 如果有一个段落你不想首行缩进, 在段落前使用命令 \noindent. 同样的, 你要保证这一...
赵星老师第一天Hadoop课程精华笔记与搭建指南
Hadoop是一个开源的框架，它允许使用简单的编程模型在跨计算机集群存储和处理大规模数据集。它是由Apache软件基金会支持的一个项目，采用Java语言编写。Hadoop处理的数据量可以达到PB级别，适合在廉价的硬件上运行。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值