sqoop 导出MySQL到hdfs后顺序异常改变

最新推荐文章于 2024-07-17 11:08:55 发布
最新推荐文章于 2024-07-17 11:08:55 发布
阅读量1.2k 收藏 3
点赞数 1
文章标签： mysql sqoop java 数据库 jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_19933029/article/details/119693537
版权

最近发现了sqoop的一个bug，在使用sqoop 1.4 7导出MySQL8.0以上版本的mysql表，采用整表导出时，列的顺序会发生颠倒、变化。
比如MySQL里是id，name。sqoop导出顺序的是name，id，个人认为是兼容性bug

解决办法

  • 加上----columns 指定列
  • 使用 --query 加SQL语句
  • 使用DataX

已排除的方案

  • 调整mapper个数
  • 更新jdbc驱动
炼数成器
关注
SQOOP导入数据导致DB2行顺序与HIVE中不同,问题分析
chenwei945的博客
07-18 1348
最近项目中遇到了使用SQOOP数据迁移时，HIVE中数据的行顺序与DB2中行顺序不同，百思不得其解（使用--table模式）直接看SQOOP代码。 进入源码发现了Sqoop的import代码都在org.apache.sqoop.tool.importTool.java下. 实际执行importTable的代码如下.  protected boolean importTable(Sqoop...
如何完美解决Sqoop导入导出MySQL数据错位问题
Mirror_w的博客
08-27 3787
Sqoop
Sqoop数据迁移出现字段顺序错误
最新发布
qq_62066736的博客
07-17 566
使用Sqoop将数据从mysql导入hive中，数据导入成功但出现null乱码。在Sqoop中定义数据导入Hive的字段顺序。shell脚本中使用循环连续导入数据。
解决hive通过sqoop传输数据到mysql上后，已排序的数据变混乱的问题
m0_52940881的博客
01-07 659
但是在传数据到MySQL后，数据出现了乱序。由于已解决，问题不再 就无法截图了。今晚我在hive建表时已通过order by对数据进行了排序。在MySQL表中设置主键即可解决该问题。
（转）使用Sqoop，最终导入到hive中的数据和原数据库中数据不一致解决办法
小蚯蚓的博客
08-03 1524
【转载原文：https://www.cnblogs.com/zdfjf/p/5277597.html】 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 1.问题背景 　　使用Sqoop把oracle数据库中的一张表，这里假定为stu...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
3、Sqoop导出(HDFS到RMDB-mysql)
05-29
这里我们以MySQL为例，展示如何使用Sqoop导出HDFS数据到MySQL。 1. **默认模式导出** 默认模式下， Sqoop会将HDFS文件的数据转换为`INSERT`语句，插入到已存在的MySQL表中。假设我们有一个HDFS路径`/user/hive/...
sqoop导出hdfs数据到mysql_《Hadoop实战手册》一1.5 使用Sqoop从HDFS导出数据到MySQL
weixin_34698042的博客
01-31 649
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.5节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 使用Sqoop从HDFS导出数据到MySQLSqoop是Apache基金会下的一个项目，是庞大Hadoop生态圈...
利用sqoop将MySQL数据导入HDFS、Hive、HBase
qq_71375720的博客
07-13 1017
此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。
Z05 - 044、Sqoop 导出 - 导出 HDFS 数据到 MySQL
吾心持剑，剑锋披靡
06-21 411
0、 初学耗时：0.5h 注：优快云手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。 一、   1.1    1.2  记忆词：   离线数据分析  ギ 舒适区ゾ || ♂ 累觉无爱 ♀ 一、   1.1 ~    1.2 ~      1.2.1 .       1.2.2 .   烟锁池塘柳。 - - - ...
sqoop 使用心得(sqoop增量倒入)
liangpz521的技术资料库
09-29 1686
sqoop是干吗的，就不在这里浪费笔墨了，这里主要讲下一个新手接触到sqoop碰到的问题。 一  业务场景 Hive 查询Hql的结果进入MySql，目前本人是通过两步来实现的， 1 把hive查询结果直接进入Hive的表a（a表需要创建，结构需要和b一样） 2 通过sqoop把表a的内容导入到MySql表b（b表已经存在）， 这个时候你需要现在hive上创建a表，假如b表字段很多
sqoop数据导出注意事项
Mr.Zheng的博客
02-20 786
1.hive->pgsql 数据由HDFS中的Hive表导出到关系数据库PGSQL中，导出数据时，关系型数据库中的存放导入数据的表需要遵以下规则 hive中数据字段列类型顺序和pgsql中表字段列类型顺序一致，sqoop导出时，sqoop不是将hive字段导出到对应pgsql表字段中，所以导出时，一定要注意表字段顺序和类型！ 字段名称顺序不同时，如果字段列类型顺序相同，导出是成功的，但是会有数据所在列和hive中列不一致的情况，特别是通过alter table操作得到的新表！ ...
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql
我玩的很开心的博客
07-23 2329
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop job任务 一、Sqoop概述 Sqoop是什么？ Sqoop是一个用
MySQL用sqoop导出乱码_Sqoop将hive数据导出到MySQL中文乱码了怎么办？
weixin_42636895的博客
01-19 372
今天遇到一个问题，如下图所示，我用sqoop将hive中数据导出到mysql中，结果出现了以下情况：经过查找资料，终于解决了问题，下面我将自己的完整解决步骤做一下记录，如果能帮到需要帮助的人，我会非常开心，最主要的是将来自己再遇到类似的问题可以进行查看。首先在mysql的指令界面输入以下命令：show variables like 'character%';出现以下界面，我的界面是这样的：我按照搜...
sqoop抽取：源数据库字段顺序改变
日常记录
10-14 1439
sqoop抽取 从源数据库抽取
sqoop在MySQL和hive间导数遇见的几种问题
abc200941410128的博客
10-31 3739
无论是新版本，还是老版本，遇到的问题大部分都是相同的。下面解决问题的方法仅供借鉴 1.拒绝连接的错误表现是什么？ 2.表不存在该如何解决？ 3.null字段填充符该如何指定？ 最近利用sqoop在MySQL和hive间相互导数时遇见如下几种问题： 1、ip相互能够ping通，但是mysql拒绝hive的访问（已经用了root权限）。 该问题出在mysql的权限设定上，一般本地电
sqoop 1.4.7 cdh版本 hive 导出数据到 mysql 8版本问题记录
Kafka_yx的博客
02-26 792
导出到mysql的数据出现数据错位。 hive数据 mysql8 数据 ​ 数据错位对比 ​ 测试：在 同样一份数据的情况下 使用mysql 5 版本的数据存储数据（发现不存在数据错位的情况） ​ 补解：经过查看官网文档 （http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_mysql）发...
MySQL改变表的显示顺序
zyp666888的博客
11-23 830
对应的提取，分组，排序的顺序；
解决sqoop从mysql库导入到hadoop个别数据错位的问题（非分隔符原因导致）
dadaerni的博客
05-11 1382
解决了个别数据并非分隔符引起的错位问题，简单介绍了sqoop的三种用法。
Sqoop教程：HDFS数据导出至MySQL的三种模式详解
本文将详细介绍如何使用 Sqoop 的 export 功能，将 HDFS 中的数据导出到 MySQL 数据库。 首先， Sqoop 的 export 功能提供了三种主要的导出模式： 1. 默认模式 (default mode): 这是最常见的操作，Sqoop 将读取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值