Sqoop --split by 支持的类型及现象

最新推荐文章于 2022-10-26 10:28:56 发布
原创 最新推荐文章于 2022-10-26 10:28:56 发布 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在使用Sqoop进行数据导入时如何选择合适的拆分列，避免数据倾斜和任务不平衡的问题。详细介绍了split-by参数的使用场景，特别是在面对不同数据类型时的注意事项，以及如何解决varchar类型splitkey带来的挑战。

如果主键存在的话就默认使用主键作为拆分列
如果主键的实际值在其范围内不均匀分布，则可能导致任务不平衡。您应该使用–split-by参数显式选择不同的列
Sqoop目前无法拆分多列索引。如果表没有索引列，或者具有多列键，则还必须手动选择拆分列。
–split-by对非数字类型的字段支持不好，会导致无法切分任务。一般用于主键及数字类型的字段

split-by 根据不同的参数类型有不同的切分方法，如int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来 确定划分几个区域
当int的范围特别小的时候，最后一个mapper会有一定倾斜

split key 要求 非空

  • sqoop mysql -> hive 当指定 split key 为 varchar类型时会遇到的情况
    现象
    1、任务无法切分，数据倾斜造成速度慢或者内存溢出
    2、split key 字段存在空值时会丢失数据

目前想到的解决办法是：将-m 设置称1，split-by不设置，即只有一个map运行，缺点是不能并行map录入数据。（注意，当-m 设置的值大于1时，split-by必须设置字段）

split key 支持的好的有一下数据类型

BigDecimal,Boolean,Date,Float,Integer

BigDecimalSplitter.java

BooleanSplitter.java

DBSplitter.java

DateSplitter.java

FloatSplitter.java

IntegerSplitter.java

OracleDateSplitter.java
sqoop --split-by与oracle的rownum结合使用详细总结
GitChat
09-10 3863
主要讲解sqoop的运行原理，以及结合oralce的rownum作为拆分字段是所存在的问题，解决方案
sqoop-import 并行抽数及数据倾斜解决
山雨欲来风满楼
01-14 6848
最近在数据中台的数据抽数优化工作，由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，决定采用sqoop的多实例并行抽数，参考了一些文档，但同时遇到了一些问题，趁有点时间把遇到问题的解决方法写下来供大家借鉴。 并行化 sqoop-常用命令及参数：https://www.yuque.com/shanyu-aqvcy/hkqgb7/vngsox sqoop...
sqoop --split-by详解
热门推荐
shengjk1的博客
04-11 1万+
其实sqoop中相对来说最有意思的就是–split-by了，咱们来唠唠 假设有一张表test，sqoop命令中–split-by ‘id’，-m 10，会发生怎样奇特的事情。首先呢，sqoop会去查表的元数据等等，重点说一下sqoop是如何根据–split-by进行分区的。首先sqoop会向关系型数据库比如mysql发送一个命令:select max(id),min(id) from test
Sqoop 之基本使用
cai_and_luo的博客
04-28 526
Sqoop 的基本使用一、Sqoop 基本命令1. 查看所有命令2. 查看某条命令的具体使用方法二、Sqoop 与 MySQL1. 查询MySQL所有数据库2. 查询指定数据库中所有数据表三、Sqoop 与 HDFS3.1 MySQL数据导入到HDFS1. 导入命令2. 导入验证3.2 HDFS数据导出到MySQL四、Sqoop 与 Hive4.1 MySQL数据导入到Hive1. 导入命令2. ...
sqoop增量导入且表无主键
allen的博客
10-18 3475
之前写过一个sqoop增量导入的文章http://blog.youkuaiyun.com/qq_20641565/article/details/52763663，自己控制增量导入，但是那个架构需要表有主键值，但是一般在实际中有的表却没有主键只有增量字段而且数据量特别大，这样的情况就不能使用之前那篇文章写的方式自己控制增量同步数据了，可以用如下的方法解决。1.使用sqoop的增量导入； 这里就不介绍了，网上有
Sqoop导入数据关于--split by 和 --m参数详细解析
jim8973的博客
01-13 3676
split-by 根据不同的参数类型有不同的切分方法；如int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来 确定划分几个区域。比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers（-m）为2的话，则会分成两个区域 (1...
Sqoop splitkey支持的类型
weixin_34072458的博客
09-18 127
http://boylook.itpub.net/post/43144/531419 前阶段一个Sqoop抽取Job指定了一个xxx_id作为splitkey，后来抽取失败；想当然以为PK就是int，发现其实是varchar（https://issues.apache.org/jira/browse/SQOOP-653还不被支持）,后来换了一列抽取成功；Sqoop的split...
大数据之sqoop：sqoop-import 并行抽数原理及数据倾斜解决方案
weixin_43597208的博客
06-28 2554
目录前言:1.sqoop参数2.并行化3.数据倾斜是怎么产生的？4.解决方案：总结 前言: 我们一般用sqoop抽数。可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 1.sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --fie
数据同步工具Sqoop
爱是与世界平行
10-26 2435
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS（Relational Database Management System：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
#! /bin/bash sqoop=/bigdata/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop (){ $sqoop import \ --connect jdbc:mysql://192.168.141.130:3306/telecom_billing \ --username root \ --password Mzp_2022! \ --target-dir /origin_data/telecom_billing/db/$1/$do_date \ --delete-target-dir \ --query $2 and \$CONDITIONS \ --num-mappers 1 \ --fields-terminated-by '\t' } import_Customer(){ Customer select customer_id , customer_name, customer_type from Customer } import_publicCustomer(){ publicCustomer select customer_id, customer_name, customer_type, community, community_manager, Industry, Telecommunications_Officer from publicCustomer } import_businessCusomer(){ businessCusomer select customer_id , customer_name , customer_type, community , community_manager, Industry , Telecommunications_Officer from businessCusomer } import_bigCusomer(){ bigCusomer select customer_id , customer_name, customer_type, community , community_manager, Industry , Telecommunications from bigCusomer } import_speciality(){ speciality select customer_id, customer_name, customer_type, community , community_manager from speciality } import_Account(){ Account select ID , sk_ID, zhanhao , OpenBank, subBank, readyAmount_ BIGINT, CostAmount_ BIGINT , curMonthAmount_ BIGINT from Account } import_phone_info(){ phone_info select When_number , P_address , Settlement_Account from phone_info } import_sale(){ sale select Phone_number , kh_ID, publicCustomer_Ratio, businessCusomer_Ratio from sale } import_call_records(){ call_records select id , Phone_number , Phone_address , Call_Duration from call_records } case $1 in Customer ) import_Customer ;; publicCustomer ) import_publicCustomer ;; businessCusomer ) import_businessCusomer ;; bigCusomer ) import_bigCusomer ;; speciality ) import_speciality ;; Account ) import_Account ;; phone_info ) import_phone_info ;; sale ) import_sale ;; call_records ) import_call_records ;; first ) import_Customer import_publicCustomer import_businessCusomer import_bigCusomer import_speciality import_Account import_phone_info import_sale import_call_records ;; all ) import_Customer import_publicCustomer import_businessCusomer import_bigCusomer import_speciality import_Account import_phone_info import_sale import_call_records ;; esac echo 数据同步完成。
最新发布
11-19
- 对于大表，考虑使用`--split-by`指定分片列（通常选择均匀分布的列，如主键），如果未指定，Sqoop默认使用主键（如果有的话）进行分片。 - 如果使用增量导入，需要指定`--incremental`（append或lastmodified）...
关于sqoop --split-by 及 -m的理解
空中的鱼
11-20 894
[b]场景：[/b] sqoop import --connect jdbc:postgresql://...../..... --username .... --query "select * from retail_tb_order_qiulp_test where status = 'TRADE_FINISHED' or status = 'TRADE_CLOSED' or sta...
一步一步学会sqoop.split-by及数据倾斜
快乐的夏雪
11-16 1万+
sqoop split-by 数据倾斜 一步一步学会sqoop sqoop入门
sqoop的增量导入和split by
qq_43227570的博客
05-15 519
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。，底层运行的mr 列出所有数据库 ： bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password hadoop 导入mysql表数据到HDFS bin/sqoop import \ --connect jdbc...
sqoop报错：Please specify one with --split-by or perform a sequential import with ‘-m 1‘.
ypf2019的博客
04-23 1045
ERROR tool.ImportTool: Import failed: No primary key could be found for table XXXX. Please specify one with --split-by or perform a sequential import with ‘-m 1’. 导入失败：找不到表XXXX的主键。请使用–split by指定一个，或使用’-m 1’执行顺序导入。 这个是原因是要操作导入或导出数据的表没有主键，提示使用–split-by 字段或.
sqoop map并行度以及split-by数量详解
welcome to zdsg's csdn
07-10 4636
Sqoop 同步记录 文章目录Sqoop 同步记录1. sqoop -m2. sqoop --split-by3.sqoop --split-by 分割机制3.1 分割int类型3.2 分割date类型3.3 分割varchar类型4. sqoop --split-limit5. map的数量由什么决定6.为什么要设定--split-limit 1. sqoop -m 有一种情况可以不需要指定 sqoop -m 就是你要同步的表有主键,这样的话sqoop默认会按照主键进行split然后分成4个map并行执行
sqoop基本使用
逝水年华的博客
02-01 441
sqoop 使用笔记 sqoop概念 将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 sqoop import 工具 “导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）
sqoop命令参数参考说明及案例示例
chimchim66的博客
09-14 2313
sqoop命名示例及实战案例示例
sqoop安装与简单实用
weixin_30655219的博客
09-18 168
一，sqoop安装　　 　　 1.解压源码包 2.配置环境变量 3.在bin目录下的 　　/bin/configsqoop 注释掉check报错信息 4.配置conf目录下 　　/conf/sqoop-env.sh 配置hadoop和hive家目录 5.导入依赖的jar包至lib目录下 　　mysql-connector-java-5.1.46-bin.jar /sha...
Sqoop导数据时的数据倾和斜解决办法
m0_57309917的博客
08-17 1657
sqoop数据倾斜的解决方案
sqoop常见
04-02
### Sqoop 的常见用法及问题总结 #### 一、Sqoop 基本概念 Sqoop 是一种用于在 Hadoop 和关系型数据库之间高效传输数据的工具。它支持将结构化数据导入到 HDFS 中，或者从 HDFS 导出到关系型数据库中[^1]。 --- #### 二、常见问题及解决方案 ##### 1. **空值问题** 当使用 Sqoop 进行数据迁移时，可能会遇到因为空值而导致的数据错误或程序崩溃的情况。这种情况下可以通过调整 SQL 查询语句来过滤掉可能引起问题的空值记录。 ##### 2. **数据类型映射问题** 不同数据库之间的数据类型可能存在差异，因此在使用 Sqoop 转移数据时需要注意目标表和源表之间的数据类型匹配。如果不一致，则可能导致插入失败或其他异常情况发生。针对此问题，可以手动指定列名以及对应的 Java 类型作为参数传递给 Sqoop 工具以实现精确控制[^2]。 ##### 3. **大数据量传输性能优化** 对于大规模数据集来说，默认单线程模式下的速度往往无法满足需求。此时可通过增加 `--num-mappers` 参数数量提高并发度进而提升效率；但是要注意的是还需要配合合理选择拆分键(`--split-by`)使得每条 map task 处理的工作负载尽可能均衡以免造成资源浪费甚至任务超时等问题出现[^4]。 ##### 4. **数据一致性保障机制** 为了防止在网络中断或者其他意外状况下丢失部分已成功写入但未提交事务的部分更改内容, 可考虑采用如下策略之一: - 使用增量抽取方式只获取新增加或者修改过的记录； - 启用 lastmodified 模式定期同步那些自上次操作以来发生变化的信息项. --- #### 三、实际案例分析 假设我们已经运行了一个简单的 Sqoop 数据提取命令并将结果保存到了 HDFS 上面某个目录里边去之后想要查看具体文件里面存储的内容是什么样子的话就可以利用下面这条 Linux shell 命令完成该目的:`hdfs dfs -cat /sqoopdata/emp/par*` 。这里展示了如何通过HDFS客户端读取由Sqoop生成的结果文件片段[^3]。 --- #### 四、注意事项 关于设置多个 Mapper 数目 (`--num-mappers N`) 来加速整个过程的同时也要考虑到实际情况比如是否存在热点分区现象等等因素的影响最终决定最佳配置方案。 --- ```bash # 示例代码：从 MySQL 到 HDFS 的基本 Sqoop 命令 sqoop import \ --connect jdbc:mysql://localhost/mydb \ --username root \ --password secret \ --table employees \ --target-dir /user/hive/warehouse/sqoop_imported_employees \ --fields-terminated-by ',' \ --lines-terminated-by '\n' \ --null-string '\\N' \ --null-non-string '\\N' ``` 上述脚本展示了一种标准做法即把来自远程MySQL服务器上的employee表格全部迁移到本地集群内的/user/hive/warehoue路径之下，并且指定了逗号分隔符以及其他一些选项用来处理特殊字符如NULL值等情形^. --- #### 五、结论 综上所述,Sqoop 不仅能够简化跨平台间的大规模数据交换流程而且提供了丰富的功能模块帮助开发者应对各种复杂场景下的挑战。然而要想充分发挥其潜力则需要深入理解各个核心组件的作用原理并结合项目特点灵活运用相关技巧才能达到理想效果^. ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值