sqoop job 免密 import 步骤及坑

lcl_bigdata lcl_bigdata 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 356平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2026-09-17 18:49:52 发布 356 阅读 AI 写同款· GEO 优化 ›
Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1 [root@node2 sqoop-1.4.6]# sqoop import --connect jdbc:oracle:thin:@192.168.8.110:1521:orcl --username SKY --password 123456 --table GJJY20150613 -m 8 --hive-import Warning: /home/sqoop-1.4.6//../hcat 阅读详情

今天把sqoop job的数据库密码修改为从文件中获取，环境：

CDH6.2.1，Sqoop-1.4.7

1，修改配置文件sqoop-site.xml，在/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/etc/sqoop文件夹下，增加配置

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
</property>

2，sqoop job 脚本：

                 $CDH_HOME ======   /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/bin

$CDH_HOME/sqoop job \
--create 'order_H' \
-- import \
--connect 'jdbc:sqlserver://localhost:8888;database=database_new' \
--username 'HIVE_03' \
--password-file /user/root/pass.password \
--table order \
--hive-import \
--hive-database hive_database \
--hive-table order_h \
--fields-terminated-by '\001' \
--hive-drop-import-delims \
--incremental append \
--check-column id \
--last-value 1 \
--m 2

3，pass.password 密码文件，在根目录建文件

echo '123456' > pass.password   ##此处一定注意步骤5！

hdfs dfs -put pass.password /user/root/

4，sqoop job --exec *

然后报下面的错误，疯狂改了半天，最后在官网文档中找到原因，也是很绝望了。。。

 ERROR manager.SqlManager: Error executing statement: com.microsoft.sqlserver.jdbc.SQLServerException: 用户 'hive_007' 登录失败。 ClientConnectionId:ca0238c0-c6a1-437a-b1f0-59f969bb996e
com.microsoft.sqlserver.jdbc.SQLServerException: 用户 'hive_007' 登录失败。 ClientConnectionId:ca0238c0-c6a1-437a-b1f0-59f969bb996e
        at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDatabaseError(SQLServerException.java:258)
        at com.microsoft.sqlserver.jdbc.TDSTokenHandler.onEOF(tdsparser.java:256)
        at com.microsoft.sqlserver.jdbc.TDSParser.parse(tdsparser.java:108)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.sendLogon(SQLServerConnection.java:4290)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.logon(SQLServerConnection.java:3157)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.access$100(SQLServerConnection.java:82)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection$LogonCommand.doExecute(SQLServerConnection.java:3121)
        at com.microsoft.sqlserver.jdbc.TDSCommand.execute(IOBuffer.java:7151)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.executeCommand(SQLServerConnection.java:2478)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.connectHelper(SQLServerConnection.java:2026)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.login(SQLServerConnection.java:1687)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.connectInternal(SQLServerConnection.java:1528)
        at com.microsoft.sqlserver.jdbc.SQLServerConnection.connect(SQLServerConnection.java:866)
        at com.microsoft.sqlserver.jdbc.SQLServerDriver.connect(SQLServerDriver.java:569)
        at java.sql.DriverManager.getConnection(DriverManager.java:664)
        at java.sql.DriverManager.getConnection(DriverManager.java:247)
        at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:903)
        at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
        at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:762)
        at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:785)
        at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:288)
        at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:259)
        at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:245)
        at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:333)
        at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1879)
        at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1672)
        at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:633)
        at org.apache.sqoop.tool.JobTool.execJob(JobTool.java:248)
        at org.apache.sqoop.tool.JobTool.run(JobTool.java:303)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:146)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:182)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:233)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:242)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:251)
21/03/24 15:07:03 ERROR tool.ImportTool: Import failed: java.io.IOException: No columns to generate for ClassWriter
        at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1678)
        at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:633)
        at org.apache.sqoop.tool.JobTool.execJob(JobTool.java:248)
        at org.apache.sqoop.tool.JobTool.run(JobTool.java:303)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:146)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:182)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:233)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:242)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:251)

5，重点：

 

第三步修改为：echo -n '123456' > pass.password

 

收录于
sqoop

当前文章被收录于：

sqoop
7 篇文章 0 人学习
订阅专栏 查看详情
标签
#sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Sqoop复习笔记 Apache Sqoop是一个用于在Hadoop分布式文件系统（HDFS）和关系型数据库管理系统（RDBMS）之间进行高效批量数据传输的工具。2012年3月成为Apache顶级项目支持HDFS、Hive、HBase等Hadoop生态组件支持MySQL、Oracle、PostgreSQL等主流数据库开源工具，广泛用于大数据生态系统 阅读详情

相关推荐

SQL Server导入导出数据时最常见的一个错误解决方法

现在建站主要使用的还是ASP与PHP，这两种语言一般使用的数据库分别为SQL Server和mysql，这两种数据库各有各长处，也说不上谁好谁坏，看个人习惯了。 SQL Server 导入和导出向导的作用是将数据从源复制到目标。该向导还可以为您创建目标数据库和目标表。但是，如果必须复制多个数据库或表，或者必须复制其他类型的数据库对象，则应改用复制数据库向导。 在数据库导入导出时总失败，错误信息如下： 代码如下: 正在验证 (错误) 消息 错误 0xc0202049: 数据流任务 1: 无法在只读列“ID”中插入数据。 (SQL Server 导入和导出向导) 错误 0xc02020

sqoop 冷知识

sqoop中，我们都知道可以指定关系型数据库字段导入hive 有两种方式： 第一种：用query查询语句把结果存放在hdfs 第二种：用column指定字段到hdfs 表面看似没差别，但这两种有底层区别， 前者是直接结果字段为指定字段， 后者则是先从关系型数据库查询所有，再获取指定字段存入hdfs作为结果集。（在执行日志中，可以看到首先打印出来的是INFO manager.Sql...

阿呆的数据经历 254

数字IC设计实现之hierarchical flow系列（一）

数字IC设计实现之hierarchical flow系列（一） 最近这段时间小编又比较忙起来了，今天抽空来咖啡厅码字来了，刚到时脑子一片空白，不知道要分享些什么（项目结束后将会在知识星球上分享数字 IC 设计实现 Tapeout 前要review的那些 checklist）。突然间想起来有个星友希望小编分享些数字 IC 设计实现 hierarchical flow 的相关内容。考虑到现在大都采用这种方式来做 design 和实现，那就选这个 topic 了。限于篇幅和时间限制，今天只分享逻辑综合部分和布局布

weixin_37584728的博客 6002

Sqoop使用与原理

目录 一、概述 二、工作机制 1、导入 2、导出 三、安装 1、前提概述 2、软件下载 3、安装步骤 4、 修改配置文件 5、拷贝JDBC驱动 6、配置系统环境变量 7、验证安装是否成功 8、测试Sqoop是否能够成功连接数据库 四、Sqoop的基本命令 基本操作 五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把MySQL数据库中的表数据导入到Hive中 3、把MySQL数据库中的表数据导入到hbase 一、概述 sqoop 是 apache 旗.

Markble 5056

PCB高速信号换层孔新技术：VECS（Vertical Conductive Structure Technology）解析

摘要：垂直导电结构(VeCS)是一种新型PCB互连技术，由平板信号走线和椭圆形接地层构成半同轴结构，相比传统过孔具有显著优势。通过全波仿真和实测验证，VeCS展现出更好的阻抗连续性、更低的插入损耗和回波损耗，以及优异的串扰抑制能力。其椭圆形接地结构能有效隔离电磁干扰，在相同布线密度下远端串扰比传统过孔降低约50%。VeCS制备工艺与传统PCB工艺兼容，无需新增设备，且能实现更高密度互连。测试结果显示，2.5英寸带状线通道中VeCS结构的信号完整性表现明显优于传统过孔，为高速数字系统提供了更可靠的垂直互连解决

小孟同学的博客 202

YOLOv12涨点改进 | 全网独家首发Conv改进篇 | Arxiv 2025 | 引入一种新的WConv加权卷积改进YOLOv12，显著提升其特征提取能力和目标检测精度

本文提出了一种新型加权卷积(WConv)模块，通过引入最优密度函数动态调整邻域像素权重，显著提升了YOLOv12目标检测性能。WConv在保持参数数量不变的情况下，提高了模型精度（VGG准确率提升10%）、增强了小目标检测能力，并改善了多尺度特征提取。文中详细介绍了模块原理、网络结构改进方法，并提供了核心代码实现和yaml配置文件。实验表明，该方法在图像任务中最高可降低53%的损失，虽然会带来11%的时间开销，但具有优异的鲁棒性。该技术可广泛应用于2D/3D图像处理领域。

Ai缝合怪、助力小伙伴高效发论文 217

sqoop报错。

使用的sqoop是1.4.4.mysql是5.6.hadoop是2.2.0

smallboy2011的专栏 1272

Python全栈入门到实战【JavaScript篇 15】async/await与Fetch API，打通前后端数据通道

Fetch API是浏览器内置的现代HTTP请求接口，用于向服务器发送请求并获取响应。它是（XHR）的替代品。学习Fetch的目标非常明确——用JS从后端API获取数据，并渲染到前端页面。这标志着前后端数据通道的打通，是实现全栈开发的核心技能。try {// 等待Promiseconst parallel = await Promise.all([ // 并行等待]);

那些看似不起波澜的日复一日，会在某天让你看到坚持的意义 1985

Sqoop 使用详解

Sqoop 是Apache 旗下的一款开源工具，用于Hadoop与关系型数据库之间传送数据，其核心功能有两个：导入数据和导出数据。导入数据是指将MySQL、Oracle等关系型数据库导入Hadoop的HDFS、Hive、HBase等数据存储系统；导出数据是指将Hadoop文件系统中的数据导出到MySQL、Oracle等关系型数据库。Sqoop 本质是一个命令行工具，与HDFS、Hive、MySQL经常一起使用。

zhouzhiwengang的专栏 3251

第4章：外包接单全攻略——Upwork/电鸭/猪八戒从0到第一单

> - 三个外包平台的详细对比（适合人群、抽成、防骗） > - 每个平台的Profile优化模板（可直接复制修改） > - 用AI写Proposal的3个Prompt模板（我实测回复率提升50%） > - 报价策略与防骗指南（附5个危险信号） > - 我的第一单复盘：从注册到收款的全过程（含聊天记录脱敏）

sfishfly的博客 577

2022中山大学计算机技术专硕考研初试、复试经验帖

个人简介 推荐几个我自己感觉对考研非常有帮助的小助手吧。可以帮助节省时间！ 考研时间规划总览 初试篇 数学 英语 政治 408 复试篇 机试 笔试 面试 关于选导师 个人感言

zik的博客 1万+

sqoop实战：sqlserver导入hbase命令

sqoop-list-databases  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=********;' sqoop-list-tables  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=*******;database=****

sfrem的专栏 1132

学Simulink——基于Simulink的单相PWM整流器PI电压外环+电流内环控制建模示例

本文详细介绍了基于Simulink的单相PWM整流器双闭环控制仿真方法。通过电压外环PI控制器调节有功功率生成电流指令，电流内环PI控制器实现正弦电流跟踪，最终达到输出电压稳定（400V±2V）、输入电流THD<3%、功率因数>0.99的目标。文章包含系统架构、数学模型、Simulink搭建步骤（主电路、PI控制器、SPWM调制等）及三种典型工况的仿真验证，并给出电感设计、数字实现等工程实践要点。该方案克服了传统整流器高谐波、低功率因数的问题，为绿色电源开发提供了可验证的仿真模型。

xiaoheshang_123的博客 75

七十四、Sqoop——Sqoop中job的免密执行

Sqoop中job的免密执行

tiantang2renjian的博客 1682

《QGIS快速入门与应用基础》293：色带调整与透明设置

详细讲解了QGIS中遥感影像色带调整与透明设置的核心技术，帮助用户将遥感成果从基础合成提升到专业出图标准。主要内容包括： 色带精细化调整： 多波段真/假彩色合成的优化技巧（Gamma校正、色彩平衡、色阶端点校准） 单波段栅格数据的伪彩色规范设置（行业标准色带选择与分类方法） 透明设置： 研究区黑边/白边的消除方法 多图层叠加时的透明融合技巧 特定地物的差异化半透明显示 实用建议： 提供行业标准参数模板和效果对比图 标注新手操作红线和常见问题排查 强调符合遥感行业规范的可视化要求。

LuckyHanMo的博客 361

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

关于sqoop job免密导出mysql数据

一、介绍 我在这里阐述一下自己对sqoop job的简答理解：创建sqoop job可以将原来的sqoop提交作业代码固化，只需要创建一次，不需要每次运行时都输入过长的代码，便于重复地调用。 二、前提条件 我进行测试用的sqoop是1.4.7版本的。（这里特别提一下：1.4.6版本的可能不支持增量的导入一些功能）配置了hadoop 2.3.0版本的集群。 三、配置 1. 在sqoop的conf目录...

weixin_43867817的博客 468

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

Apache Sqoop job 作业

job 语法 $ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)] $ sqoop-job (generic-args) (job-args) [-- [subtool-name] (subtool-args)] 创建job 创建一个名为testjob，这可以从RDBMS表的数据导入到HDFS作业。 下面的...

大数据流浪法师的学习笔记与分享 446

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

sqoop 的job使用方式及密码保存

sqoop 的job使用方式 基本使用说明 job参数说明 功能简单明了。 Argument Description --create <job-id> Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...

zld_555的博客 2606

sqoop job 实现自动增量导入

一、普通增量导入 sqoop import --connect jdbc:mysql://172.16.100.173:3306/hdb \ --username root --password oracletest \ --table autoextend \ -m 1 \ --incremental append \ --check-column id \ --last-value 11 \ ...

清平乐的技术专栏 575

sqoop job学习笔记

----------------------job------------------------------- [root@mihaoyu151 tmp]# sqoop job --create demojob -- import \ > --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \ > --username root \ > --password root \ > --table student \ > --delet

qq_51903852的博客 767

sqoop job的使用

sqoop job的使用 sqoop job可以将执行的语句变成一个job，并不是在创建语句的时候执行，你可以查看该job，可以任何时候执行该job，也可以删除job，这样就方便我们进行任务的调度。 --create <job-id> 创建一个新的job. --delete <job-id> 删除job --exec <job-id> 执行job --show <job-id> 显示job的参数 --list 列出所有的job # 创建job [root@h

我是泛滥 1471

Sqoop的安装及使用Sqoop导入至mysql、hive、hbase

Sqoop的安装及常见使用1、Sqoop的安装2、Sqoop的使用1.Sqoop的常用命令2.命令对应参数解析2.1数据库连接参数2.2 import参数2.3 export参数2.4 Hive参数2.5 Job参数3、Sqoop常用操作1.hdfs导入到mysql2.mysql导入到hdfs全量导入列剪裁行裁剪+多个reducer增量导入|append增量导入|lastmodified3.mysql导入到hive中全量导入间接导入方式一方式二4.job 1、Sqoop的安装 解压sqoop安装包 tar

Wan的博客 1391

sqoop import 报错： ERROR tool.ImportTool: Import failed: Import job failed

2021-12-16 20:35:57,142 INFO mapreduce.Job: map 0% reduce 0% 2021-12-16 20:35:57,148 INFO mapreduce.Job: Job job_local876630507_0001 failed with state FAILED due to: NA 2021-12-16 20:35:57,195 INFO mapreduce.Job: Counters: 0 2021-12-16 20:35:57,216 WARN .

Yslin_的博客 9387

踩坑——Sqoop报错ERROR tool.ExportTool: Error during export

@羲凡——只为了更好的活着 踩坑——Sqoop报错ERROR tool.ExportTool: Error during export 控制台打印的报错是 19/04/19 20:17:09 ERROR mapreduce.ExportJobBase: Export job failed! 19/04/19 20:17:09 ERROR tool.ExportTool: Error during ...

@羲凡—只为更好的活着 1万+

Sqoop 命令参数

Sqoop 命令&参数：codegen 将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。 如： sqoop codegen \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 123456 \ --table staff \ --bindir /home/admin/Desktop/staff \ --class-name Staff \ --fields-termina

weixin_44966780的博客 1628

CDH集成Sqoop2做全库导入

Sqoop简介 Sqoop是一个用于Hadoop和关系型数据库或主机之间的数据传输工具。它可以将数据从关系型数据库import到HDFS，也可以从HDFS export到关系型数据库，通过Hadoop的MapReduce实现。 我们现在的需求就是需要sqoop导入，真个库从mysql到hive里面咯。 Sqoop命令 执行 sqoop help, 可以看到Sqoop支持的命令： Sq...

大壮的博客 1248
上一篇： CentOS7.8安装mysql-5.7.24安装异常和启动异常
下一篇： hive load data inpath ‘‘ overwrite into 坑
点赞 1
评论 0
书签 书签 0
lcl_bigdata
lcl_bigdata
博客等级 码龄11年 268粉丝 67原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值