关于sqoop --split-by 及 -m的理解

最新推荐文章于 2025-07-10 20:22:11 发布
原创 最新推荐文章于 2025-07-10 20:22:11 发布 · 1.5w 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了使用 Sqoop 导入数据到 Hive 时遇到的一个常见问题：数据量异常放大，具体表现为源数据表中的一条记录在目标表中被重复多次。文章详细分析了该现象的原因，并给出了两种解决方案，一种是调整 split-by 参数配置，另一种是通过限制 map 任务数量来规避此问题。
部署运行你感兴趣的模型镜像
场景：

sqoop import --connect jdbc:postgresql://...../..... --username ....  --query "select * from retail_tb_order_qiulp_test where status = 'TRADE_FINISHED' or status = 'TRADE_CLOSED' or status = 'TRADE_CLOSED_BY_TAOBAO' and \$CONDITIONS"  --hive-import -m 6 --hive-table custom_analyse_db.retail_tb_order_main --hive-overwrite --hive-partition-key part --hive-partition-value qiulp --target-dir /user/qiulp/test1 --split-by tid
注意红色字体部分， retail_tb_order_qiulp_test表原有1000条数据，导入hive后成了6000条，是map的倍数关系。
如下图，一条数据在hive中有6条相同的数据：

理解
1.split-by 根据不同的参数类型有不同的切分方法，如int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来 确定划分几个区域。比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers（-m）为2的话，则会分成两个区域 (1,500)和(501-1000),同时也会分成2个sql给2个map去进行导入操作，分别为select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and split-by<=1000.最后每个map各自获取各自SQL中的数据进行导入工作。

2.当split-by不是int型时出现如上场景中的问题。目前想到的解决办法是：将-m 设置称1，split-by不设置，即只有一个map运行，缺点是不能并行map录入数据。（注意，当-m 设置的值大于1时，split-by必须设置字段）

3.split-by即便是int型，若不是连续有规律递增的话，各个map分配的数据是不均衡的，可能会有些map很忙，有些map几乎没有数据处理的情况
  • 大小: 185.4 KB

您可能感兴趣的与本文相关的镜像

Kotaemon

Kotaemon

AI应用

Kotaemon 是由Cinnamon 开发的开源项目，是一个RAG UI页面,主要面向DocQA的终端用户和构建自己RAG pipeline

解决sqoop导数据时，由于两个数据端的字段名不一致从而导致split-by报错 Unknown column ‘id‘ in ‘where clause‘ 问题（sqoop原理详解）
weixin_46574678的博客
01-17 1940
采用sqoop向hive导入数据时，--boundary-query解决由于两个数据端的字段名不一致从而导致split-by报错 Unknown column ‘id‘ in ‘where clause‘ 问题
Sqoop底层实现原理解析
最新发布
ITHomeZSL的博客
09-14 943
特性实现方式并行性将数据按“划分列”分片，生成多个独立的 Map 任务并行处理。** scalability（扩展性）**基于 MapReduce，可以轻松利用 Hadoop 集群的数百上千个节点。可靠性/容错性继承自 MapReduce 框架，任务失败会自动重试。性能1.批量操作（批量读取、批量插入）。2.Direct 模式使用原生数据库工具。3. 使用合适的文件格式（如 Avro）。数据类型映射。
sqoop --split-by详解
shengjk1的博客
04-11 1万+
其实sqoop中相对来说最有意思的就是–split-by了，咱们来唠唠 假设有一张表test，sqoop命令中–split-by ‘id’，-m 10，会发生怎样奇特的事情。首先呢，sqoop会去查表的元数据等等，重点说一下sqoop是如何根据–split-by进行分区的。首先sqoop会向关系型数据库比如mysql发送一个命令:select max(id),min(id) from test
sqoop的import参数 --split-by详解
weixin_42497376的博客
08-01 680
参数用于指定表中的一个列作为划分数据的依据。参数时，Sqoop会根据指定的列将数据划分为更小的子任务，每个子任务会由一个MapReduce任务来处理。这样可以提高数据导入的并行性，加快数据导入的速度。参数可以更灵活地划分数据，并提高导入数据的效率。但是需要注意的是，划分数据的列必须是有序的，否则可能会导致数据倾斜或者导入数据的不完整。：可以使用自定义的SQL查询语句来指定划分数据的范围。列的值将数据划分为更小的子任务，并使用多个MapReduce任务并行地导入数据。：指定一个列作为划分数据的依据。
Sqoop导入数据--split by 和 --m（大于1）配合使用
qq_43688472的博客
03-02 2204
Sqoop导入数据--split by 和 --m（大于1）配合使用
sqoop-1.4.5.tar.gz
04-21
4. **性能调优**：通过合理设置参数如 `--m`（Map任务数量）、`--split-by`（分片字段）等，可以优化 Sqoop 的性能。 5. **数据一致性**：虽然 Sqoop 支持增量导入，但在并发操作下，可能需要配合数据库的事务控制...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
Sqoop 还支持多种导入方式，如分块导入（`--split-by`），指定导入字段（`--columns`），以及增量导入（`--incremental`）。增量导入允许只导入自上次导入以来更改的数据，这对于实时数据更新非常有用。 #### 3、...
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
例如，将 `user` 表导入到 `/sqoop/test1` 目录，并设置字段分隔符（`--fields-terminated-by`）和Map数量（`-m`）。如果Map数量为1，不需要`--split-by`，否则需要指定分桶列。 - (2)条件导入：使用 `--where` ...
大数据学习6：Sqoop数据迁移工具
m0_46266496的博客
07-10 1097
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。如下图所示，sqoop中有导入和导出的概念，参照物都是hadoop文件系统，其中关系型数据库可以是mysql、oracle和db2，hadoop文件系统中可以是hdfs、hive和hbase等。
大数据平台-Sqoop培训.pdf
03-03
--split-by demo1.ID -m 6 ``` 在数据导出功能上，Sqoop同样能够将HDFS中的数据写回到关系型数据库中，实现数据的双向流动。 Sqoop支持多种关系型数据库，包括HSQLDB、MySQL、Oracle和PostgreSQL等。对于不直接...
Sqoop将mysql导入hive时split-by为文本解决
qq_40302627的博客
12-29 625
【代码】Sqoop将mysql导入hive时split-by为文本解决。
一步一步学会sqoop.split-by及数据倾斜
快乐的夏雪
11-16 1万+
sqoop split-by 数据倾斜 一步一步学会sqoop sqoop入门
sqoop map并行度以及split-by数量详解
welcome to zdsg's csdn
07-10 4629
Sqoop 同步记录 文章目录Sqoop 同步记录1. sqoop -m2. sqoop --split-by3.sqoop --split-by 分割机制3.1 分割int类型3.2 分割date类型3.3 分割varchar类型4. sqoop --split-limit5. map的数量由什么决定6.为什么要设定--split-limit 1. sqoop -m 有一种情况可以不需要指定 sqoop -m 就是你要同步的表有主键,这样的话sqoop默认会按照主键进行split然后分成4个map并行执行
Sqoop的简单使用
Yubingx的博客
10-21 275
Sqoop的简单使用 RDBMS到HDFS 全部导入 $ bin/sqoop import \ --connect jdbc:mysql://192.168.34.21:3306/company \ --username root \ --password 123456 \ --table staff \ --target-dir /company \ --delete-target-dir \ --fields-terminated-by "\t" \ --num-mappers 1 \ --spli
Split文本分割
Hard work results, technology is willing to dream
08-29 5358
Split文本分割工具
sqoop（三） --m参数详解
weixin_42934205的博客
05-12 2370
sqoop（三） --m参数详解 Sqoop并行化是启多个map task实现的，-m(或–num-mappers)参数指定map task数，默认是四个。 当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。 并行度不是设置的越大越好，map task的启动和销毁都会消耗资源，而且过多的数据库连接对数据库本身也会造成压力。在并行操作里，首先要解决输入数据是以什么方式负债均衡到多个map的，即怎么
Linux命令200例：split将一个大文件拆分成多个小文件
热门推荐
黑夜开发者的博客
08-02 2万+
split是Linux系统中的一个文件拆分命令，它可以将一个大文件拆分成多个小文件。这对于处理大型文件，或者需要将数据分解到多个文件中的场景非常有用。split是一个非常有用的文件拆分命令，它可以根据大小或者行数将大文件拆分成多个小文件。通过本文介绍的实际应用示例，我们了解了split命令的基本用法，并掌握了一些常用的参数。希望这篇文章能够帮助你更好地理解和使用split命令。
MySQL数据导入至HDFS中 1、简单导入。 sqoop import --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --table student 这里没有指定 HDFS 的目录 默认会将数据存到系统当前登录用户下 以表名称命名的文件夹下。 系统默认为逗号隔开，如下图： 注意：如果数据库没有设置主键，语法需要加上--split by指定一个列去分割或用-m 1指定一个 Map 任务。 2、指定 HDFS 目录/user/root/hdfsdb导入，指定一个 MapReduce 任务。 sqoop import --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --usernameroot --password 123123 --table student --target-dir /user/root/hdfsdb -m 1 --target-dir：指定 HDFS 目录。 -m 1：指定一个 MapReduce 任务。 3、指定查询学生的学号与学生姓名存入到/user/root/hdfsdb2中，指定一个MapReduce 任务，并以|分隔。 sqoop import --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --query 'select stu_no, stu_name from student where $CONDITIONS' --target-dir /user/root/hdfsdb2 --fields-terminated-by '|' -m 1 --query：通过用 sql 语句来将数据导入，where $CONDITIONS是query中固定语法，不可删去。 --fields-terminated-by：数据通过什么来隔开。 编程要求 根据上述，将 MySQL 数据库hdfsdb中的表数据导入至HDFS中,要求如下： 指定 HDFS 目录/user/root/hdfsdb3。 查询学生姓名与年龄。 指定一个 Mapreduce 任务。 存储以-来分割。
03-30
<think>好的，用户的问题是关于如何将MySQL数据导入到HDFS中，并且有特定的要求。让我先仔细看一下他们的需求。 首先，用户提供的示例中有三个不同的导入方式，分别是简单导入、指定目录和指定查询。现在他们的编程要求是需要将hdfsdb数据库中的学生姓名和年龄导入到HDFS的指定目录/user/root/hdfsdb3，使用一个MapReduce任务，并且字段以-分隔。同时，他们可能还参考了之前的例子，需要注意语法是否正确。 我需要回忆Sqoop命令的各个参数。根据用户提供的例子，当使用--query时，必须包含where $CONDITIONS，并且如果指定了-m 1，可能不需要split by，因为只有一个mapper。另外，字段分隔符使用--fields-terminated-by参数，这里应该设为'-'。 用户可能需要注意的几个点：数据库连接是否正确，用户名密码是否正确，表名是否正确，查询的字段是否存在，以及HDFS目录是否有写入权限。此外，如果表没有主键，可能需要添加--split-by或者强制使用-m 1，这里用户已经指定了-m 1，所以没问题。 现在需要组合这些参数。命令结构应该是这样的：sqoop import加上连接信息，然后--query指定查询语句，注意where $CONDITIONS的存在，--target-dir指定目录，-m 1设置mapper数量，--fields-terminated-by设置分隔符。另外，可能需要检查是否有其他需要的参数，比如是否要删除目标目录，但用户的需求中没有提到，所以可以暂时忽略。 可能的错误点包括：忘记添加$CONDITIONS，或者在查询语句中没有正确使用引号。需要确保SQL语句用单引号包裹，并且$CONDITIONS是必要的。此外，字段名是否正确，比如学生姓名和年龄对应的列名是否是stu_name和age，可能需要用户确认，但根据前面的例子，可能列名是正确的。 综上所述，正确的命令应该包括这些部分：连接字符串、用户名密码、--query参数、target目录、字段分隔符、mapper数量。然后给出示例命令，并解释每个参数的作用，确保用户理解每个部分的意义。</think>以下是满足编程要求的Sqoop导入命令及分步说明： ```bash sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/hdfsdb \ --username root \ --password 123123 \ --query 'SELECT stu_name, age FROM student WHERE $CONDITIONS' \ --target-dir /user/root/hdfsdb3 \ --fields-terminated-by '-' \ -m 1 ``` **参数解析：** 1. `--connect`：指定MySQL数据库连接地址，格式为$jdbc:mysql://主机:端口/数据库$[^3] 2. `--username`/`--password`：数据库认证凭据 3. `--query`：自定义查询语句，必须包含$WHERE $CONDITIONS$占位符[^2] 4. `--target-dir`：指定HDFS存储路径$"/user/root/hdfsdb3"$ 5. `--fields-terminated-by`：设置字段分隔符为短横线$"-"$ 6. `-m 1`：指定使用1个MapTask，避免并行处理导致数据分割问题[^1] **验证操作：** ```bash hdfs dfs -ls /user/root/hdfsdb3 hdfs dfs -cat /user/root/hdfsdb3/part-m-00000 ``` **注意事项：** - 若表无主键必须通过`-m 1`禁用并行导入 - 查询语句必须使用单引号包裹，确保$CONDITIONS占位符不被解析[^4] - 字段名需与数据库表实际列名严格匹配
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值