sqoop的Warning日志处理

运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案 有一段时间没用sqoop了,今天打开进行测试的时候,发现命令行总是出现下面这样的警示信息: Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop/bin/…/…/accumulo does not exist! Accumulo imports will fail. Please set $ACCU 立即下载

 版权声明:本文为博主原创文章,未经博主允许不得转载

启动Sqoop作业时会出现下面的警告信息:

Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

解决方法:

进入$SQOOP_HOME/bin下,修改configure-sqoop文件,将下面的内容注释掉:

##user define note#####
## Moved to be a runtime check in sqoop.
if false;then
if [ ! -d "${HCAT_HOME}" ]; then
  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
fi

if [ ! -d "${ACCUMULO_HOME}" ]; then
  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
fi
if [ ! -d "${ZOOKEEPER_HOME}" ]; then
  echo "Warning: $ZOOKEEPER_HOME does not exist! Accumulo imports will fail."
  echo 'Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.'
fi
##
fi

再次启动作业的时候,就不会有警告的信息了。

3款 433MHz 收发模块对比:SYN480R vs RXB6 vs DL-TX19,实测卷帘门遥控距离 本文深度评测了3款433MHz收发模块SYN480R、RXB6与DL-TX19在卷帘门遥控距离、穿透性能和抗干扰能力等方面的表现。通过实测数据对比,分析了超外差、超再生和PLL锁相环技术的优劣,为智能家居和工业控制领域的无线遥控方案选型提供专业参考。 阅读详情

相关推荐

python爬取巨潮资讯网所有股票年报数据

爬虫获取巨潮资讯网数据

qq_42752524的博客 6117

Sqoop 简介与安装

一、Sqoop 简介 Sqoop是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出: 导入数据:从MySQL,Oracle等关系型数据库中导入数据到HDFS、Hive、HBase等分布式文件存储系统中; 导出数据:从 分布式文件系统中导出数据到关系数据库中。 其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移,如下图: 二、安装 版本选择:目前Sqo...

黑白影的博客 511

HALCON实战:用两个工业相机实现无缝大视野拼接(附完整代码与避坑指南)

本文详细介绍了使用HALCON软件实现双工业相机图像无缝拼接的完整解决方案,涵盖硬件配置、相机标定、坐标系转换和图像拼接等关键步骤。通过高精度标定和矩阵变换技术,可构建大视野检测系统,适用于液晶面板、PCB等工业检测场景,显著提升检测效率和精度。

weixin_29050513的博客 191

Hadoop安装配置错误记录(Mac版)

一、常用访问地址 Cluster Web访问URL(集群) http://127.0.0.1:8088/cluster/ DFS Web访问URL http://127.0.0.1:50070/dfshealth.html#tab-overview Node Web访问URL http://127.0.0.1:8042/node/node 二、错误记录 1、进入Mysql bin数据库并进行初始化...

简单-生活 3146

日志异常检测详细整理,看这一篇就够了(附各项目代码链接)

对于不用的日志键,用它们的参数值向量训练一个参数值异常检测模型来检测有这些参数值反映的系统性能异常。与标准的GAN框架一样,D和G的参数是基于D的输出来更新的,因此鉴别器D可以被训练为尽可能敏感地将正确的标签分配给真实和虚假序列,而生成器将被训练为尽可能聪明地在经过足够多轮的迭代后欺骗鉴别器,即误导D将真实标签分配给虚假序列。LR:逻辑回归是有监督的模型,将处理后的特征矩阵以及标记作为模型的输入,得到训练后的模型,用此模型预测新出现的特征向量,以此判断特征向量是否为异常的,进而判断日志异常。

qq_20368489的博客 1万+

从零开始:在Ubuntu 22.04上配置Isaac Gym Preview 3环境(含常见错误解决方案)

本文提供了在Ubuntu 22.04系统上从零开始配置Isaac Gym Preview 3环境的完整实战指南。内容涵盖NVIDIA驱动安装、Conda环境搭建、CUDA与PyTorch版本精准匹配、Isaac Gym核心安装与验证,并重点介绍了针对四足机器人等复杂系统的强化学习训练环境配置、常见错误解决方案及性能调优技巧,旨在帮助开发者高效部署这一高性能物理仿真平台。

weixin_29048775的博客 393

Sqoop问题解决:运行警告Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/../hcatalog does not exist!

Sqoop问题解决:运行警告 报错信息: Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/accu

? 6万+

手把手教你理解特斯拉Model 3的域控制器架构:RBCM如何成为“多面手”?

本文深入解析特斯拉Model 3的域控制器架构,重点介绍右车身域控制器(RBCM)如何整合车身电子系统功能。RBCM作为多任务处理中枢,管理空调系统、尾部电气设备和超声波雷达等关键功能,展现了特斯拉在汽车电子架构上的创新设计。文章详细探讨了RBCM的硬件架构、功能版图及信号网络,揭示其如何通过高性能MCU和智能开关技术实现功能集中与效率提升。

weixin_30919429的博客 384

sqoop1.4.6报错:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not l

1、启动sqoop报错:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver [root@slave bin]# ./sqoop list-databases --connect jdbc:m

Johnmay--Blog 1万+

DeepSeek赋能公文写作:从高效成文到精准传情的全维度指南

摘要:AI赋能公文写作的精准化实践 公文写作长期面临框架混乱、素材匮乏、表达不规范、修改低效等痛点。DeepSeek等AI工具通过"精准指令+分步赋能"模式实现突破:首先明确公文的目的性、逻辑性和规范性特征;其次采用包含场景、类型、目的等要素的指令模板;再分四步实施:框架搭建确保层次分明,内容填充解决素材问题,表达优化适配不同语体,合规校验把关格式规范。典型案例显示,AI能将数据罗列转化为"数据+成果+价值"的生动表述,使公文既规范又具感染力。这种AI赋能的写作方法显

通俗易懂学IT 233

Aurix TC3xx系列MCU DMA模块配置方法(二)

本文主要基于英飞凌Aurix TC3xx系列MCU,通过EB tresos配置工具,介绍DMA驱动模块的配置方法。

m0_38045338的博客 2850

sqoop 1.x 安装使用

下载:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 1、conf 文件下 [root@hadoop01 conf]# mv sqoop-env-template.sh sqoop-env.sh [root@hadoop01 conf]# mv sqoop-site-template.xml sqoop-site.xml 2、修改配置文件 [root@hado...

u012842247的专栏 224

NVIDIA Isaac Sim scene_synthesizer 创建机器人操控任务场景使用教程

【摘要】Scene Synthesizer是一个用于3D场景程序化生成的Python库,专为机器人仿真训练设计。文章介绍了其安装方法(pip或git)和核心概念:1) 资产(Asset)系统支持多种3D模型格式和参数化尺寸调整;2) 场景(Scene)管理通过有向无环图组织对象,支持基于锚点的层级合成;3) 提供了丰富的程序化资产(如橱柜、货架、餐具等)和6个预定义厨房场景。该库采用仿真器无关架构,强调物理仿真的多样性和扩展性,相比现有数据集和生成模型能创建更复杂的交互场景,适用于机器人操作任务训练。

机器人控制与仿真应用 1151

sqoop查看版本时 Warning的解决方法

因为单节点虚拟机中没安装HBase、HCatalog 和Accumulo以及Zookeeper,所以报下列错误: `Warning: /usr/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /usr/sqoop/sqoop-1.4.7.bin

追梦人的博客 5978

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

sqoop的安装及简单使用

一、说明 1、sqoop是sql to hadoop的缩写。 2、连接传统关系型数据库和Hadoop的桥梁,把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库中; 3、利用MapReduce,批处理方式进行数据传输 4、sqoop有两个版本,sqoop1(1.4.x)和sqoop2(1.99.x);因为官方并不建议在生产环境中使用sqoop2,所以这里使用的是sqoop1; 5、sqoop1底层

hyj 1535

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Centos7搭建Sqoop数据转移工具

全程hadoop/hadoop账号下操作 创建sqoop安装的目录 mkdir -p /home/hadoop/sqoop 解压到安装目录 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop/sqoop 把解压后生成的文件夹重新命名为sqoop-1.4.7 cd /home/hadoop/sqoop ...

天涯芳草 434

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Sqoop常用操作命令

sqoop的所有操作脚本在$SQOOP_HOME/bin 目录下 sqoop脚本 1、 [hadoop@hadoop001 bin]$ sqoop Warning: /home/hadoop/apps/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME ...

曹利荣的博客 4697

学习Hadoop第二十二课(Sqoop---数据迁移工具)

上节课我们一起学习了Hadoop集群测试,这节课我们一起学习一下Sqoop,Sqoop是专门用来迁移数据的,它可以把数据库中的数据迁移到HDFS文件系统,当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景,假如你们公司有个项目运行好长时间了,积累了大量的数据,现在想升级项目并换种数据库进行存储原来的数据,那么我们就需要先把数据都存放到另一个地方,然后再用新数据

u012453843的专栏 5775

Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案

执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop...

攻城狮Kevin 1万+

sqoop 1.4.7部署及报错解决

将hive/lib 包下的hive-common-x.x.x.jar和 hive-exec-x.x.x.jar 拷贝到sqoop/lib包下。x.x.x代表具体的版本,hive版本不同jar包版本也就会不同。sqoop缺少hive jar包。

admin_233的博客 1016

CentOS 7 安装Sqoop-1.4.7-bin-hadoop

CentOS 7 安装sqoop1.4.7-bin-hadoop 前言 Sqoop是一个可以将数据在关系型数据库与Hadoop进行转移的工具,底层通过MapResult的MR任务将数据按批次的形式进行转移,同时自定义了对应的InputFormat和OutputFormat,吞吐量很大,功能很强。 下载地址:https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/ 1 下载安装包 # 1 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.t

shufangreal的博客 1292

Sqoop安装及操作以及oozie&sqoop

一、集群环境:   Hostname IP Hadoop版本 Hadoop 功能 系统 node1   192.168.1.151 0.20.0 namenode hive+sqoop rhel5.4X86 node2   1

1761

sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误

泊涯 1687

Sqoop报警告hcatalog does not exist! HCatalog jobs will fail.accumulo does not exist! Accumulo imports w

Sqoop报警告hcatalog does not exist! HCatalog jobs will fail.accumulo does not exist! Accumulo imports will fail. 报错内容 解决方法 注释以下内容 #if [ -z "${HCAT_HOME}" ]; then # if [ -d "/usr/lib/hive-hcatalog" ]; then # HCAT_HOME=/usr/lib/hive-hcatalog # elif [ -d "

Jing0921的博客 3933

【Sqoop】Sqoop的使用(连接MySQL、Hive)

Sqoop的使用 使用sqoop前需要启动Hadoop,检查Hadoop的运行状态,我们这里使用的是伪分布式 [root@hr conf]# jps 1538 DataNode 2114 NodeManager 1689 SecondaryNameNode 1834 ResourceManager 1421 NameNode 2831 Jps Sqoop连接MySQL需要MySQL的jar包,吧jar包放置Sqoop的lib目录下 先测试Sqoop能否连接MySQL查看存在的数据库 sqoop list-

HR的博客 1万+

【已解决】sqoop无法连接本地mysql--Unknown system variable ‘query_cache_size‘

查了一下Unknown system variable 'query_cache_size’应该是因为:mysql-connecter-java的版本过低,很显然是数据库驱动程序与数据库版本不对应。查看了一下配置,发现mysql-connector-java的版本是5.1.40,而我本地mysql版本是8.0.26,linux的MySQL版本是5.1.73。可以看到我现在的版本是:mysql-connector-java-5.1.40.jar。选择对应的版本点进去在Files这里就能下载jar包了。

yyuan_in的博客 1518
上一篇: Flink报错akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/dispatcher#931521
下一篇: Kafka压力测试
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值