sqoop的Warning日志处理

运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案 有一段时间没用sqoop了,今天打开进行测试的时候,发现命令行总是出现下面这样的警示信息: Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop/bin/…/…/accumulo does not exist! Accumulo imports will fail. Please set $ACCU 立即下载

 版权声明:本文为博主原创文章,未经博主允许不得转载

启动Sqoop作业时会出现下面的警告信息:

Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

解决方法:

进入$SQOOP_HOME/bin下,修改configure-sqoop文件,将下面的内容注释掉:

##user define note#####
## Moved to be a runtime check in sqoop.
if false;then
if [ ! -d "${HCAT_HOME}" ]; then
  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
fi

if [ ! -d "${ACCUMULO_HOME}" ]; then
  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
fi
if [ ! -d "${ZOOKEEPER_HOME}" ]; then
  echo "Warning: $ZOOKEEPER_HOME does not exist! Accumulo imports will fail."
  echo 'Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.'
fi
##
fi

再次启动作业的时候,就不会有警告的信息了。

基于JAVA的GB28181实现之SIP服务核心组件解析 本文深入解析了基于JAVA的GB28181标准中SIP服务的核心组件实现,包括协议栈选择、消息处理引擎、事务管理器等关键技术点。通过实战案例分享海康威视、大华设备的特殊处理技巧,并提供性能优化和常见问题排查指南,帮助开发者高效构建稳定的视频监控系统。 阅读详情

相关推荐

必看!wechat-article-exporter:轻松批量下载公众号文章

微信搜索“”关注公众号。在信息爆炸的时代,我们每天都会接触到大量优秀的微信公众号文章。有时候,我们想要将这些精彩的内容保存下来,以便日后回顾或者分享给更多的人。然而,微信公众号并没有提供直接的批量下载功能,这给我们带来了不少困扰。今天,我要给大家分享一款非常实用的软件——wechat-article-exporter,它能够帮助我们轻松地批量下载微信公众号文章,让你不再为文章的保存而烦恼。

王乐平 技术博客 4356

Sqoop 简介与安装

一、Sqoop 简介 Sqoop是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出: 导入数据:从MySQL,Oracle等关系型数据库中导入数据到HDFS、Hive、HBase等分布式文件存储系统中; 导出数据:从 分布式文件系统中导出数据到关系数据库中。 其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移,如下图: 二、安装 版本选择:目前Sqo...

黑白影的博客 511

ADS Layout设计实战:从参数设置到协同仿真

本文详细介绍了ADS Layout设计的完整实战流程,从新建工程、单位设置、个性化偏好配置等基础操作入手,逐步深入到基板参数配置、端口设置与电磁仿真器选择等核心环节。重点阐述了参数化版图设计与扫描优化、以及原理图与Layout协同仿真的高级技巧,并通过一个微带线低通滤波器设计案例,完整演示了从理论到实现的闭环设计方法,帮助工程师高效、准确地完成高频电路版图设计与验证。

weixin_29268637的博客 799

Hadoop安装配置错误记录(Mac版)

一、常用访问地址 Cluster Web访问URL(集群) http://127.0.0.1:8088/cluster/ DFS Web访问URL http://127.0.0.1:50070/dfshealth.html#tab-overview Node Web访问URL http://127.0.0.1:8042/node/node 二、错误记录 1、进入Mysql bin数据库并进行初始化...

简单-生活 3146

Mac 环境配置jdk、Maven

3、终端打开配置jdk时候建好的脚本文件: open -e .bash_profile。4、查看maven是否安装成功和系统能不能识别maven/mvn命令:⬇️。输入⬇️并保存: 其中第一行JAVA_HOME替换为自己下的jdk路径。,安装编译好的二进制版本,具体安装zip还是tar.gz我看的。5、查看jdk是否安装成功和系统能不能识别java命令:⬇️。至此,我的Mac系统的环境配置jdk、Maven完成!然后就发现我的maven命令还是没作用,不识别,下载后直接安装即可,很快,点几下就OK了。

weixin_42416791的博客 4409

UniApp 覆盖安装后首次进入 APP pages.json 不生效的解决方案

通过以上步骤,解决了缓存问题导致的首次加载异常。此方案的关键在于强制更新文件名,从根本上避免旧缓存的干扰。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 685

Sqoop问题解决:运行警告Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/../hcatalog does not exist!

Sqoop问题解决:运行警告 报错信息: Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/accu

? 6万+

Android编译系统——Android.bp语法介绍(十五)

Android.bp 是 Android 构建系统(Android Build System)中的配置文件,用于描述如何编译和打包项目中的模块。它是用 Blueprint 编写的,其语法类似于 JSON,但专为 Android 编译系统设计,提供了更高效、灵活的模块化管理。

小旭的专栏 939

sqoop1.4.6报错:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not l

1、启动sqoop报错:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver [root@slave bin]# ./sqoop list-databases --connect jdbc:m

Johnmay--Blog 1万+

AI预测彩票,使用chatgpt和lstm神经网络(文末附源码)

AI预测彩票,使用chatgpt和lstm神经网络(文末有彩蛋)

淘淘小窝 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

sqoop 1.x 安装使用

下载:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 1、conf 文件下 [root@hadoop01 conf]# mv sqoop-env-template.sh sqoop-env.sh [root@hadoop01 conf]# mv sqoop-site-template.xml sqoop-site.xml 2、修改配置文件 [root@hado...

u012842247的专栏 224

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

sqoop查看版本时 Warning的解决方法

因为单节点虚拟机中没安装HBase、HCatalog 和Accumulo以及Zookeeper,所以报下列错误: `Warning: /usr/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /usr/sqoop/sqoop-1.4.7.bin

追梦人的博客 5978

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

sqoop的安装及简单使用

一、说明 1、sqoop是sql to hadoop的缩写。 2、连接传统关系型数据库和Hadoop的桥梁,把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库中; 3、利用MapReduce,批处理方式进行数据传输 4、sqoop有两个版本,sqoop1(1.4.x)和sqoop2(1.99.x);因为官方并不建议在生产环境中使用sqoop2,所以这里使用的是sqoop1; 5、sqoop1底层

hyj 1535

Centos7搭建Sqoop数据转移工具

全程hadoop/hadoop账号下操作 创建sqoop安装的目录 mkdir -p /home/hadoop/sqoop 解压到安装目录 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop/sqoop 把解压后生成的文件夹重新命名为sqoop-1.4.7 cd /home/hadoop/sqoop ...

天涯芳草 434

Sqoop常用操作命令

sqoop的所有操作脚本在$SQOOP_HOME/bin 目录下 sqoop脚本 1、 [hadoop@hadoop001 bin]$ sqoop Warning: /home/hadoop/apps/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME ...

曹利荣的博客 4697

学习Hadoop第二十二课(Sqoop---数据迁移工具)

上节课我们一起学习了Hadoop集群测试,这节课我们一起学习一下Sqoop,Sqoop是专门用来迁移数据的,它可以把数据库中的数据迁移到HDFS文件系统,当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景,假如你们公司有个项目运行好长时间了,积累了大量的数据,现在想升级项目并换种数据库进行存储原来的数据,那么我们就需要先把数据都存放到另一个地方,然后再用新数据

u012453843的专栏 5775

Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案

执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop...

攻城狮Kevin 1万+

sqoop 1.4.7部署及报错解决

将hive/lib 包下的hive-common-x.x.x.jar和 hive-exec-x.x.x.jar 拷贝到sqoop/lib包下。x.x.x代表具体的版本,hive版本不同jar包版本也就会不同。sqoop缺少hive jar包。

admin_233的博客 1016

CentOS 7 安装Sqoop-1.4.7-bin-hadoop

CentOS 7 安装sqoop1.4.7-bin-hadoop 前言 Sqoop是一个可以将数据在关系型数据库与Hadoop进行转移的工具,底层通过MapResult的MR任务将数据按批次的形式进行转移,同时自定义了对应的InputFormat和OutputFormat,吞吐量很大,功能很强。 下载地址:https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/ 1 下载安装包 # 1 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.t

shufangreal的博客 1292

Sqoop安装及操作以及oozie&sqoop

一、集群环境:   Hostname IP Hadoop版本 Hadoop 功能 系统 node1   192.168.1.151 0.20.0 namenode hive+sqoop rhel5.4X86 node2   1

1761

sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误

泊涯 1687

Sqoop报警告hcatalog does not exist! HCatalog jobs will fail.accumulo does not exist! Accumulo imports w

Sqoop报警告hcatalog does not exist! HCatalog jobs will fail.accumulo does not exist! Accumulo imports will fail. 报错内容 解决方法 注释以下内容 #if [ -z "${HCAT_HOME}" ]; then # if [ -d "/usr/lib/hive-hcatalog" ]; then # HCAT_HOME=/usr/lib/hive-hcatalog # elif [ -d "

Jing0921的博客 3933

【Sqoop】Sqoop的使用(连接MySQL、Hive)

Sqoop的使用 使用sqoop前需要启动Hadoop,检查Hadoop的运行状态,我们这里使用的是伪分布式 [root@hr conf]# jps 1538 DataNode 2114 NodeManager 1689 SecondaryNameNode 1834 ResourceManager 1421 NameNode 2831 Jps Sqoop连接MySQL需要MySQL的jar包,吧jar包放置Sqoop的lib目录下 先测试Sqoop能否连接MySQL查看存在的数据库 sqoop list-

HR的博客 1万+

【已解决】sqoop无法连接本地mysql--Unknown system variable ‘query_cache_size‘

查了一下Unknown system variable 'query_cache_size’应该是因为:mysql-connecter-java的版本过低,很显然是数据库驱动程序与数据库版本不对应。查看了一下配置,发现mysql-connector-java的版本是5.1.40,而我本地mysql版本是8.0.26,linux的MySQL版本是5.1.73。可以看到我现在的版本是:mysql-connector-java-5.1.40.jar。选择对应的版本点进去在Files这里就能下载jar包了。

yyuan_in的博客 1518

hadoop学习之-Sqoop与关数据库(mysql)之间导入实践

一、            Sqoop概述 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。   二、            Sqoop安装配置 软件下载: Sqoop官方版本:http://apac

我思,故我在!--My data life 9674
上一篇: Flink报错akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#931521
下一篇: Kafka压力测试
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值