DS:ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException错误

报错显示:

当我们使用dolphinscheduler(DS)调度工具,将mysql的数据增量导入至hive中的时候,

可能会报出以下错误

或这样的错误

解决办法:

这个错误其实也很好解决,其中

这个错误有两种解决办法:

第一种解决办法

        只需要将红框中的路径中的QueryResule.jar包 复制至 sqoop的lib目录下即

第二种解决办法

         不但可以解决上面的问题,而且可以解决最上面错误显示中的另一个问题

上述错误的原因其实就是hadoop的路径不匹配,系统找不到(不认识)我们脚本中本来就写好的路径

进入我们的dolphinscheduler /bin/env 下 找到红框中的env.sh文件 修改即可

export HADOOP_HOME=/opt/installs/hadoop

export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

export SQOOP_HOME=/opt/installs/sqoop

export

PATH=$SQOOP_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH

以上是我的路径,设置成自己的路径即可,问题全部解决!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值