MapReduce实现用户画像时遇到的一些问题

本文总结了在使用MapReduce处理用户画像过程中遇到的三个问题:1)ExitCodeException exitCode=-1073741701错误,原因是缺少VRRUNTIME140.dll,解决方法是下载并替换对应文件;2)NativeIO$Windows.access(NativeIO.java:557)异常,通过修改源码并注释相关行解决;3)MapReduce集群节点间时间不同步,安装并配置ntp进行时间同步。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.Exception in thread “main” ExitCodeException exitCode=-1073741701

   进入hadoop目录下的bin目录下,双击winutils会发现无法启动,报错VRRUNTIME140.dll丢失

解决方法:

下载这个压缩包并解压,将解压的文件放到bin文件中,替换掉原来的文件

压缩包自取:http://pan.baidu.com/s/1nvDVjD3

2  atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

这个问题原因不清楚,但是解决法就是下载源码包,将源码包放到项目里

源码包自取:http://pan.baidu.com/s/1pLcDzAz                                 

然后编辑出错的557行,将return access0(path, desiredAccess.accessRight());注释掉,然后加一行return true;就OK了

3MapReduce所有节点时间不同步问题

原因是为安装ntp,所有集群都需安装ntp,命令如下:

yum install -y ntp(需要在root下安装

然后同步时间,命令如下:

ntpdate asia.pool.ntp.org

以上是我近期遇到的问题。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值