sqoop抽取mysql数据到Hive时报错

最新推荐文章于 2023-04-16 16:45:27 发布

仓库管理媛Zo蒙u

最新推荐文章于 2023-04-16 16:45:27 发布

阅读量354

点赞数

分类专栏： azkaban报错 sqoop抽取数据报错文章标签： sqoop mysql hive

本文链接：https://blog.youkuaiyun.com/weixin_42320809/article/details/112487876

版权

azkaban报错同时被 2 个专栏收录

2 篇文章

订阅专栏

sqoop抽取数据报错

1 篇文章

订阅专栏

博客主要讲述了Sqoop从MySQL抽取数据到Hive时的报错问题。报错原因是抽取的第一列数据不是自增id列，通过在脚本里添加相关内容，完美解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop抽取mysql数据到Hive时报以下错误
ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" property passed as a parameter

报错原因：

抽取的第一列数据不是自增id列

解决办法：

在脚本里加上

-Dorg.apache.sqoop.splitter.allow_text_splitter=true

结果：完美解决

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

仓库管理媛Zo蒙u

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用Sqoop实现Mysql到Hive的数据导入

QYHuiiQ

05-11

6527

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下：添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO

Hadoop ERROR tool.ImportTool: Encountered IOException running import

Gdl.痕迹的博客

07-04

2695

ERROR tool.ImportTool: Encountered IOException running import [training@training hadoop]$ ls customers.java orders.java sqoop_details.sh suppliers.java employees.java products.java sqoop.sh [tr...

参与评论您还未登录，请先登录后发表或查看评论

sqoop导数据到hive失败

linux_ja的专栏

08-23

1万+

1、sqoop异常现象： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidObjectException(message:There is no database named dw) 2、hive.log: 2016-08-23 16:1

Sqoop将数据从oracle导入到hive时，数据错位的问题解决

SunWuKong_Hadoop的博客

04-25

1953

问题一：导入的列有换行符等其他字符如何解决在使用sqoop将数据从oracle导入hive时，对数据进行验证，发现hive中的数据比oracle的多，然后发现多出来的数据严重错位，大量字段为null 怀疑是某些字段含有了hive默认的分隔符，如“\n”，“\r”，“\01” 解决办法是增加参数--hive-drop-import-delims来解决 Hive will have prob...

sqoop常见错误

weixin_42947670的博客

08-15

2068

常见错误：错误一：ERROR tool.ImportTool: Import failed: java.io.IOException: Generating splits for a textual index column allowed only in case of “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” property passed as a parameter sqoop import \ --connect jdbc:m

sqoop从Oracle导入hive报错

qq_44758580的博客

12-07

650

问题1:No primary key could be found for table xxx. Please specify one with --split-by or perform a sequential import with ‘-m 1’ 原因:被抽取的Oracle表没有主键,并且sqoop脚本中开启了并行. 解决方法: 给Oracle表添加主键,不用修改sqoop脚本; 或者不用添加主键,但是要在sqoop脚本中添加参数(-m默认是4,需要指定为1): --hive-import -m 1

sqoop导入报错

ToLightElegantly的博客

05-20

463

sqoop version 1.4.7-cdh6.3.2 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Generating splits for a textual index column allowed only in case of “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” property passed

sqoop 抽取mysql数据_sqoop抽取mysql数据到hive

weixin_34489135的博客

01-30

703

对于sqoop，我之前只是知道作用，并未对其进行研究。最近设计基础架构的过程中，其中一环需要用到sqoop，用来导数据，涉及全量和增量，于是花时间学习了一下。这里讨论sqoop导数据的全量和增量的功能，以及遇到的一些问题。下面的案例是：使用sqoop将mysql的数据导入hive中，数据来自天气数据。制造数据源通过NiFi采集天气数据，保存到mysql。具体的采集流程并非本文重点，这里就不做描述了...

【Sqoop】MySQL表导入Hive

LS154952447的博客

04-16

1544

用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。

sqoop从mysql到hive的时间字段问题

01-07

一、问题发现与分析 ...经过对比：sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题：默认先转为对应时间戳，再转换为北京市区时间，就会使时间多8小时。解决办法有两个： 1、在sql里将时间字段转换为

使用sqoop抽取mysql数据

10-26

在“使用sqoop抽取mysql数据”的场景中，我们需要了解以下关键知识点： 1. ** Sqoop 安装与配置**：首先，你需要在 Hadoop 集群或本地环境中安装 Sqoop，并配置相关的数据库连接信息，包括 JDBC 驱动、数据库服务器...

ERROR tool.ImportTool: Encountered IOException running import job

weixin_67431245的博客

10-14

670

ERROR tool.ImportTool: Encountered IOException running import job错误

sqoop "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" property passed as a parameter

a13575018718的专栏

01-04

6802

17/01/04 11:24:25 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.split

ambari 安装sqoop_sqoop导入数据出现问题归整

weixin_42499332的博客

01-02

794

sqoop导入数据会出现哪些问题呢一起来看哇？问题1执行sqoop命令 sqoop import --connect jdbc:mysql://192.168.0.189:3306/demo --username root --password 898 --table sys_user1错误内容如下所示ERROR manager.SqlManager: Error reading from dat...

ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Cannot run p...

weixin_30918633的博客

10-29

712

原因是hive没有设置环境变量 1，vim /etc/profile （切换root用户）　　 2.source /etc/profile 转载于:https://www.cnblogs.com/spicy/p/9871189.html

ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited ...

weixin_30673611的博客

10-30

1485

这是sqoop的迁移数据到hive的报错解决方案： 1，已经尝试不是晚上大多数说的 libthrity的原因　　　　　　2，查看自己的配置 sqoop-env.sh 如果配置的路径写的不对，对应的包就无法找到了也会报错　　　　　　　　删除之前hdfs缓存的目录，然后重新执行下面语句 bin/sqoop import --connect jdbc:mysql://l...

Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Out...

weixin_33862188的博客

05-18

768

1、当时初学Sqoop的时候，mysql导入到hdfs导入命令执行以后，在hdfs上面没有找到对应的数据，今天根据这个bug，顺便解决这个问题吧，之前写的http://www.cnblogs.com/biehongli/p/8039128.html。 1 [hadoop@slaver1 sqoop-1.4.5-cdh5.3.6]$ bin/sqoop import \ 2 > -...

java sqoop 1.4.5_sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited...

weixin_39827036的博客

02-25

424

sqoop 导入 hivehive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)BERROR tool.ImportTool: Encountered IOException running import job: jav...

Sqoop异常解决ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No