通过sqoop把hive数据到mysql，脚本提示成功，mysql对应的表中没有数

最新推荐文章于 2024-12-31 00:33:41 发布

李小晨同学

最新推荐文章于 2024-12-31 00:33:41 发布

阅读量538

点赞数 2

文章标签： hive sqoop mysql

本文链接：https://blog.youkuaiyun.com/qq_29020037/article/details/136564785

版权

文章讨论了脚本执行成功但读写数据异常的情况，发现问题在于建表时错误地使用了MySql非InnoDB引擎，导致数据在写入后几分钟内被自动删除。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、脚本执行日志显示脚本执行成功，读写数量不为0

2、手动往Mysql对应表中写入数据十几秒后被自动删除了

问题原因：

建表时引擎用错了，如下图所示

正常情况下应该用InnoDB

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

李小晨同学

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

使用Sqoop实现Mysql到Hive的数据导入

QYHuiiQ

05-11

6516

使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下：添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO

java 实现 Hive 导入到 mysq

lizhihaoweiwei的专栏

09-01

2752

java 实现 Hive 导入到 mysq, 支持字段名字映射，部分导入，和常数指定

参与评论您还未登录，请先登录后发表或查看评论

sqoop导入hive成功，hive查不到数据

超的专栏

07-16

1734

sqoop导入hive成功，hive查不到数据

sqoop 导表进hive 之后数据都是null

fairynini的博客

03-25

565

show create table 表名查看表的分割符号对不对重新drop掉表再建即可。正常不指定表的分隔符就是默认\001分割，然后正常sqoop导入就有数据了。

使用Sqoop从Hive导出数据到MySQL的问题总结

weixin_47981216的博客

12-25

813

本文总结了使用Sqoop从Hive导出数据到MySQL过程中常见的报错及解决办法

Hive导入mysql数据丢失_sqoop 数据从hive导入到mysql 遇到的坑

weixin_26851099的博客

01-19

984

1、sqoop export \--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \--username test \--password test \--table test_sqoop \--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \--input-fields-terminated...

sqoop 抽取mysql数据_sqoop抽取mysql数据到hive

weixin_34489135的博客

01-30

701

对于sqoop，我之前只是知道作用，并未对其进行研究。最近设计基础架构的过程中，其中一环需要用到sqoop，用来导数据，涉及全量和增量，于是花时间学习了一下。这里讨论sqoop导数据的全量和增量的功能，以及遇到的一些问题。下面的案例是：使用sqoop将mysql的数据导入hive中，数据来自天气数据。制造数据源通过NiFi采集天气数据，保存到mysql。具体的采集流程并非本文重点，这里就不做描述了...

Hive导入mysql数据丢失_记录一次 Sqoop 从 MySQL 导入数据到 Hive 问题的排查经过

weixin_39597987的博客

02-23

1257

问题描述MySQL 中原始数据有 790W+ 的记录数，在 Sqoop 抽取作业成功的情况下在 Hive 中只有 500W 左右的记录数。排查过程数据导入脚本 Log通过 Log 可以发现以下信息：该 Sqoop 任务被分解为 4 个 MapTask。MapTask 执行期间有异常，是网络异常导致 MySQL 连接不成功。Sqoop 任务对应的 MR 执行过程中总的被调起 9 个 MapTask，...

sqoop同步数据hive---＞mysql

qq_55906442的博客

04-17

1319

1.创建数据库etl，使用etl数据库 2.创建etltest表，用\t分隔，同步HDFS上etltest目录下的数据 create table etltest ( xh String, name String, grade String, endgrade String ) row format delimited fields terminated by '\t' stored as textfile location '/etltest'; 3.上传实验数据test2.txt...

利用sqoop将MySQL数据导入HDFS、Hive、HBase

qq_71375720的博客

07-13

1009

此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。

多应用或多jvm并发使用sqoop导致数据未存入问题

egegerhn的博客

08-28

476

因为sqoop使用的是hsqldb内存级数据库，多个jvm使用的情况下数据会被覆盖，sqoop的bin目录下有sqoop-metastore脚本，可以启动hsqldb的服务端，多个jvm连接这个服务端就可以保证数据一致了。

# 用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空，报错：Unknown column ‘????‘ in ‘field list‘

mh6666的博客

04-21

1113

用Sqoop将MySQL的表导入到HDFS中，表导入成功，但数据为空报错如下：

《Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入》

司小幽

08-16

6309

一、生产环境 Oracle:11g R2版本 Sqoop:1.4.6版本 Hive:1.1.1版本（利用MySQL作为MetaStore） Hadoop:2.6.3版本 (其中Sqoop、Hive、Hadoop均是搭建在Centos6.6 64位上的）远程登录软件:Xshell 5 二、需求需要将Oracle中的多张表通过Sqoop导入至Hive中，Oracle在远程服

执行sqoop 命令将HDFS文件导入到MYSQL中的时候出现/bin/bash: /bin/java: 没有那个文件或目录报错解决方案

最新发布

2301_80252580的博客

12-31

1352

ln -s /usr/local/jdk1.8/bin/java /bin/java （权限不够时候➕sudo）创建软链接，左边 /usr/local/jdk1.8/bin/java 是你自己原来的 Java 的安装路径，右边 /bin/java这是软链接将要创建的位置和名称，创建完成后，当你在任何地方运行Java命令时，系统都会找到/bin下的java文件,然后执行他，执行这个命令后，无论你在系统的哪个位置，只要/bin在你的PATH环境变量中，你可以通过Java命令来启动Java虚拟机.

Sqoop的基本操作

Ljng77的博客

10-22

555

导入数据导入到HDFS // \代表在shell窗口中换行 bin/sqoop import \ // 连接的url --connect jdbc:mysql://hadoop102:3306/mydb \ // 用户名 --username root \ // 密码 --password 123456 \ // 要导哪个表的数据 --table staff \ // 将数据导入到hdfs的哪个路径 --target-dir /company \ // 如果目标目录存在就删除 --delete-targe

sqoop从hive导出到mysql数据缺失的解决方法

总分全班第一

03-16

3908

1，hive创建表的语句 CREATE TABLE `olympic_data`( `name` string, `age` int, `state` string, `year` string, `date` string, `project` string, `gold` int, `silver` int, `bronze` int, `total` ...

Sqoop抽数到Hive表异常分析

weixin_42656794的博客

11-27

751

Question1 使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行但数据没有写入Hive的表中，执行的Sqoop抽数脚本如下 export HADOOP_USER_NAME=hive sqoop import \ --connect "jdbc:mysql://cm-server:3306/cm" \ --username cm \ --password password \ -...

Sqoop学习笔记 --- sqoop使用时候常见错误

杨鑫newlife的专栏

02-13

1792

Sqoop学习笔记 --- sqoop使用时候常见错误

sqoop 导入数据到hive报错数据库不存在，但是我在hive已经创建了数据库

总分全班第一

05-26

2136

1，报错日志如下 19/05/25 22:18:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `back` AS t LIMIT 1 19/05/25 22:18:43 INFO hive.HiveImport: Loading uploaded data into Hive 19/05/25 22:18:...

sqoop 从hive到mysql脚本

06-01

以下是从Hive到MySQL使用Sqoop进行数据传输的示例脚本： ``` sqoop export \ --connect jdbc:mysql://<mysql_host>/<mysql_database> \ --username <mysql_username> \ --password <mysql_password> \ --table <mysql_table> \ --export-dir /user/hive/warehouse/<hive_table> \ --input-fields-terminated-by ',' \ --input-lines-terminated-by '\n' \ --input-null-string '\\N' \ --input-null-non-string '\\N' ``` 请注意，您需要将上面的占位符替换为您的实际值。此外，您需要确保Sqoop已正确配置，并且Hive表的数据已经存储在HDFS上，并且格式为逗号分隔的文本文件。