Sqoop导入数据关于--split by 和 --m参数详细解析

最新推荐文章于 2024-08-01 13:30:08 发布
原创 最新推荐文章于 2024-08-01 13:30:08 发布 · 3.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #sqoop #hadoop

本文探讨了使用sqoop进行数据导入时，通过调整split-by参数和-m参数来优化数据处理效率的方法。具体分析了不同参数设置下，map任务的划分方式及数据分布情况，指出在split-by字段为int类型且非连续时可能导致数据处理不均衡，提出了通过设置-m为1并使用时间字段作为分区字段的解决方案。

  1. split-by 根据不同的参数类型有不同的切分方法；如int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来 确定划分几个区域。比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers（-m）为2的话，则会分成两个区域 (1,500)和(501-1000),同时也会分成2个sql给2个map去进行导入操作，分别为select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and split-by<=1000.最后每个map各自获取各自SQL中的数据进行导入工作。

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/feidata \
--username xxx \
--password xxx \
--table emp \
--hive-overwrite \
--delete-target-dir \
--hive-import --hive-database fei_hive \
--hive-table emp_import_partition \
--fields-terminated-by '\t' \
--split-by deptno

如果不设置的话，默认是--m=4

[hadoop@hadoop01 hive]$ hdfs dfs -cat /user/hive/warehouse/fei_hive.db/emp_import_partition/part-m-00000
20/01/13 16:34:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7369	SMITH	CLERK	7902	1980-12-17 00:00:00.0	800.00	null	1
7499	ALLEN	SALESMAN	7698	1981-02-20 00:00:00.0	1600.00	300.00	2
7521	WARD	SALESMAN	7698	1981-02-22 00:00:00.0	1250.00	500.00	3
7876	ADAMS	CLERK	7788	1983-01-12 00:00:00.0	1100.00	null	1
7900	JAMES	CLERK	7698	1981-12-03 00:00:00.0	950.00	null	2
7902	FORD	ANALYST	7566	1981-12-03 00:00:00.0	3000.00	null	3
[hadoop@hadoop01 hive]$ hdfs dfs -cat /user/hive/warehouse/fei_hive.db/emp_import_partition/part-m-00001
20/01/13 16:34:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7566	JONES	MANAGER	7839	1981-04-02 00:00:00.0	2975.00	null	4
7654	MARTIN	SALESMAN	7698	1981-09-28 00:00:00.0	1250.00	1400.00	5
7934	MILLER	CLERK	7782	1982-01-23 00:00:00.0	1300.00	null	4
[hadoop@hadoop01 hive]$ hdfs dfs -cat /user/hive/warehouse/fei_hive.db/emp_import_partition/part-m-00002
20/01/13 16:34:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7698	BLAKE	MANAGER	7839	1981-05-01 00:00:00.0	2850.00	null	6
7782	CLARK	MANAGER	7839	1981-06-09 00:00:00.0	2450.00	null	7
[hadoop@hadoop01 hive]$ hdfs dfs -cat /user/hive/warehouse/fei_hive.db/emp_import_partition/part-m-00003
20/01/13 16:34:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7788	SCOTT	ANALYST	7566	1982-12-09 00:00:00.0	3000.00	null	8
7839	KING	PRESIDENT	null	1981-11-17 00:00:00.0	5000.00	null	9
7844	TURNER	SALESMAN	7698	1981-09-08 00:00:00.0	1500.00	0.00	10

上面划分map区域就是(0,3],(3,5],(5,7],(7,10],

    上面遇到的问题就是当split-by是int类型但不是自增长的话，各个map分配的数据是不均衡的，可能会有些map很忙，有些map几乎没有数据处理的情况，数据多的时候，会拉数据的时候数据库出现奔溃的情况

  2. 当split-by不是int型时出现如上场景中的问题。目前想到的解决办法是：将-m设置称1，split-by不设置，即只有一个map运行，缺点是不能并行map录入数据，（注意，当-m设置的值大于1时，split-by必须设置字段）数据多的时候，也会在拉数据的时候数据库出现奔溃的情况。

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/feidata \
--username xxx \
--password xxx\
--table emp \
--hive-overwrite \
--delete-target-dir \
--hive-import --hive-database fei_hive \
--hive-table emp_import_partition \
--fields-terminated-by '\t' \
--split-by hiredate
--m 1

[hadoop@hadoop01 ~]$ hdfs dfs -cat /user/hive/warehouse/fei_hive3.db/emp_import_partition/part-m-00000
20/01/13 17:07:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7369	SMITH	CLERK	7902	1980-12-17 00:00:00.0	800.00	null	20
7499	ALLEN	SALESMAN	7698	1981-02-20 00:00:00.0	1600.00	300.00	30
7521	WARD	SALESMAN	7698	1981-02-22 00:00:00.0	1250.00	500.00	30
7566	JONES	MANAGER	7839	1981-04-02 00:00:00.0	2975.00	null	20
7654	MARTIN	SALESMAN	7698	1981-09-28 00:00:00.0	1250.00	1400.00	30
7698	BLAKE	MANAGER	7839	1981-05-01 00:00:00.0	2850.00	null	30
7782	CLARK	MANAGER	7839	1981-06-09 00:00:00.0	2450.00	null	10
7788	SCOTT	ANALYST	7566	1982-12-09 00:00:00.0	3000.00	null	20
7839	KING	PRESIDENT	null	1981-11-17 00:00:00.0	5000.00	null	10
7844	TURNER	SALESMAN	7698	1981-09-08 00:00:00.0	1500.00	0.00	30
7876	ADAMS	CLERK	7788	1983-01-12 00:00:00.0	1100.00	null	20
7900	JAMES	CLERK	7698	1981-12-03 00:00:00.0	950.00	null	30
7902	FORD	ANALYST	7566	1981-12-03 00:00:00.0	3000.00	null	20
7934	MILLER	CLERK	7782	1982-01-23 00:00:00.0	1300.00	null	10

    但是可以使用时间字段作为分区字段（月，天），查询条件–query "select * from t where date=‘xxx’ ",时间可以写在一个文件去维护，从而可以使用shell脚本去循环查询，–m=1,这样就可以防止抽取数据的时候，把数据库拉死

sqoop的增量导入和split by
qq_43227570的博客
05-15 519
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。，底层运行的mr 列出所有数据库 ： bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password hadoop 导入mysql表数据到HDFS bin/sqoop import \ --connect jdbc...
sqoop --split-by与oracle的rownum结合使用详细总结
GitChat
09-10 3863
主要讲解sqoop的运行原理，以及结合oralce的rownum作为拆分字段是所存在的问题，解决方案
Sqoop原理篇
huahuaxiaoshao的博客
05-16 1万+
1 Sqoop简介       Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库...
sqoop的import参数 --split-by详解
weixin_42497376的博客
08-01 693
参数用于指定表中的一个列作为划分数据的依据。参数时，Sqoop会根据指定的列将数据划分为更小的子任务，每个子任务会由一个MapReduce任务来处理。这样可以提高数据导入的并行性，加快数据导入的速度。参数可以更灵活地划分数据，并提高导入数据的效率。但是需要注意的是，划分数据的列必须是有序的，否则可能会导致数据倾斜或者导入数据的不完整。：可以使用自定义的SQL查询语句来指定划分数据的范围。列的值将数据划分为更小的子任务，并使用多个MapReduce任务并行地导入数据。：指定一个列作为划分数据的依据。
一步一步学会sqoop.split-by及数据倾斜
快乐的夏雪
11-16 1万+
sqoop split-by 数据倾斜 一步一步学会sqoop sqoop入门
sqoop导入数据到hive中，数据不一致
05-04
合理设置split-by参数和-m（map任务数量）参数，以确保数据正确分片。 7. Sqoop版本兼容性：不同的Sqoop版本与Hive版本可能存在兼容性问题，导致数据导入不一致。保持两者版本的同步或选择已知兼容的版本组合可以...
sqoop导入mysql数据到Hive的各种方案
热门推荐
XDSXHDYY的博客
06-30 1万+
mysql数据导入数据仓库Hive的各种方案 采用sqoop向hive中导入原始数据形成ODS层，之后可以在原始数据的基础上进行增量备份数据（定时同步）或者通过canal解析binlog（实时同步）日志进行同步数据。 1.sqoop向hive中导数据的原理 sqoop在向hive中导入数据时，是先将数据上传到hdfs中，然后创建表，最后再将hdfs中的数据load到表目录下。 我们采用sqoop直...
sqoop实例操作及详细参数解析
Saint
06-27 9645
1、MySQL数据库中的数据导入到Hadoop的HDFS： 使用命令： $ sqoop import $ sqoop-import 示例： $ sqoop import \ --connect jdbc:mysql://localhost/userdb \ --username root \ --table emp \ --m 1 \...
1.3 Sqoop 数据同步工具详细教程
在路上的专栏
06-23 1435
Sqoop 是一个功能强大、易于使用的数据同步工具，适用于多种数据传输和同步场景。其高效的并行处理能力、广泛的数据库支持和灵活的传输方式，使其成为 Hadoop 生态系统中不可或缺的一部分。通过 Sqoop，用户可以方便地在关系型数据库和 Hadoop 之间进行数据迁移和同步，有效支持大数据分析和处理。
Sqoop_import数据导入
John_Yuan_imp的博客
12-28 6281
一、从RDBMS（mysql）中导入数据到hdfs ①全部导入（导入一个表中的数据） 在sqoop的安装目录下执行以下命令：bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/sqoop_test \ --username root \ --password 061111 \ --table staff \ --target-dir
Sqoop导入数据--split by 和 --m（大于1）配合使用
qq_43688472的博客
03-02 2208
Sqoop导入数据--split by 和 --m（大于1）配合使用
sqoop --split-by详解
shengjk1的博客
04-11 1万+
其实sqoop中相对来说最有意思的就是–split-by了，咱们来唠唠 假设有一张表test，sqoop命令中–split-by ‘id’，-m 10，会发生怎样奇特的事情。首先呢，sqoop会去查表的元数据等等，重点说一下sqoop是如何根据–split-by进行分区的。首先sqoop会向关系型数据库比如mysql发送一个命令:select max(id),min(id) from test
sqoop 原理 中文手册 split by --m理解
qq_36864672的博客
12-08 1万+
MySQL里的数据）通过Sqoop Import HDFS 里 和 通过Sqoop Export HDFS 里的数据到（MySQL）（五） 　　下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出 一、MySQL里的数据通过Sqoop import HDFS 　　它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。
sqoop map并行度以及split-by数量详解
welcome to zdsg's csdn
07-10 4636
Sqoop 同步记录 文章目录Sqoop 同步记录1. sqoop -m2. sqoop --split-by3.sqoop --split-by 分割机制3.1 分割int类型3.2 分割date类型3.3 分割varchar类型4. sqoop --split-limit5. map的数量由什么决定6.为什么要设定--split-limit 1. sqoop -m 有一种情况可以不需要指定 sqoop -m 就是你要同步的表有主键,这样的话sqoop默认会按照主键进行split然后分成4个map并行执行
Sqoop_Sqoop 并行度调整 -m 以及 --split-by
迎难而上
06-07 5377
参考https://blog.youkuaiyun.com/duyuanhai/article/details/103066861 Sqoop 并行化原理 Sqoop并行化是启多个map task实现的，-m(或--num-mappers)参数指定map task数，默认是四个。 当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。并行度不是设置的越大越好，map task的启...
关于sqoop导入数据的时候添加--split-by配置项对sqoop的导入速度的影响。
weixin_30664051的博客
09-28 346
最近在搞sqoop的导入导出操作。但是今天遇到一个表数据量特别大。我们想通过sqoop的导入功能对数据进行导入，但是从oracle当中导入数据的时候，如果是需要平行导入的话必须使用--split-by，也就是设置map的数量。 一种就是不指定--split-by（切分的字段）直接使用一个map的形式就行导入操作。 我这张表的数据是40G，我将其用10个map进行导入，然后按照其中一个numbe...
Sqoop --split by 支持的类型及现象
qq_34897849的博客
12-23 1531
varchar 现象 1、抽取失败 2、-m 指定多个任务，会无法切分任务，抽过来的数据行数有可能发生偏差 当你的抽取任务指定的split key 为varchar 时最好指定任务个数为1 int 现象 当int的范围特别小的时候，最后一个mapper会有一定倾斜 split key 支持的好的数据类型 BigDecimal,Boolean,Date,Float,Integer BigDecim...
sqoop import/export参数说明
weixin_44762298的博客
12-22 596
1.import/export通用 选项 　　　　　　　　含义说明 –connect 指定JDBC连接字符串 –connection-manager 指定要使用的连接管理器类 –driver 指定要使用的JDBC驱动类 –hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径 –help 打印用法帮助信息 –password-file 设置用于存放认证的密码信息文件的路径 -P 从控制台读取输入的密码 –password 设置认证密码 –username 设置认证用
sqoop-import 并行抽数及数据倾斜解决
山雨欲来风满楼
01-14 6848
最近在数据中台的数据抽数优化工作，由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，决定采用sqoop的多实例并行抽数，参考了一些文档，但同时遇到了一些问题，趁有点时间把遇到问题的解决方法写下来供大家借鉴。 并行化 sqoop-常用命令及参数：https://www.yuque.com/shanyu-aqvcy/hkqgb7/vngsox sqoop...
练习Sqoop增量导入数据（columns,where和query等参数）
最新发布
06-06
<think>我们有一个任务：使用Sqoop进行增量数据导入，并学习columns、where和query参数的用法。根据提供的引用，我们可以整合信息来构建一个教程。引用[1]展示了Sqoop将MySQL数据导入Hive的基本命令，但没有涉及增量导入和query等参数。引用[2]介绍了Sqoop是用于Hadoop和关系型数据库之间数据传输的工具，并提到以Oracle为例导入数据，但我们需要的是MySQL的例子。引用[3]给出了Sqoop的条件导入、增量导入以及在没有数字主键时如何使用文本列切分的例子，特别提到了使用`--split-by`和`-D`参数，还提到了`--where`参数。用户明确要求增量导入，以及columns、where、query参数的使用。在Sqoop中，增量导入有两种模式：`append`和`lastmodified`。-`append`模式：用于表中新增行，需要指定一个列（通常是自增ID）来跟踪新增加的行。-`lastmodified`模式：用于表中已有行的更新，需要指定一个时间戳列来跟踪更改。此外，我们还可以使用`--query`参数自定义SQL查询，同时使用`--where`参数进行简单的条件过滤，以及`--columns`指定要导入的列。下面我们逐步讲解：1.增量导入（IncrementalImport）:Sqoop提供了`--incremental`参数来指定增量导入模式，同时需要指定：-`--check-column`:用于检查增量数据的列。-`--last-value`:上一次导入的该列的最大值（或时间戳）。示例（使用append模式）：sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--tablestudent\--target-dir/user/hive/warehouse/student\--incrementalappend\--check-columnid\--last-value100#表示上次导入的最后id是100，那么这次导入id>100的记录示例（使用lastmodified模式）：sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--tablestudent\--target-dir/user/hive/warehouse/student\--incrementallastmodified\--check-columnupdate_time\--last-value"2020-01-0100:00:00"#上次导入的最后时间戳，这次导入更新或新增的记录（注意：在lastmodified模式下，Sqoop会在导入后合并数据）2.`--where`参数:这个参数用于指定导入数据的条件，类似于SQL的WHERE子句，但不需要写WHERE关键字。示例：只导入age大于20的学生sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--tablestudent\--where"age>20"\--target-dir/user/hive/warehouse/student_age_gt20注意：这个条件是在数据库服务器上执行的，所以效率较高。3.`--columns`参数:用于指定要导入的列，多个列名用逗号分隔（不要有空格）。示例：只导入id和name列sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--tablestudent\--columns"id,name"\--target-dir/user/hive/warehouse/student_columns4.`--query`参数:这个参数允许我们使用自定义的SQL查询来导入数据。当使用`--query`时，必须同时指定`--split-by`（用于并行切分的列）以及`--target-dir`，并且不能使用`--table`参数。示例：使用自定义查询导入数据，并且可以包含JOIN操作sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--query'SELECTs.id,s.name,c.course_nameFROMstudentsJOINcoursecONs.course_id=c.idWHERE$CONDITIONS'\--split-bys.id\--target-dir/user/hive/warehouse/student_course注意：在查询中必须包含`$CONDITIONS`，这是Sqoop在并行导入时用来替换条件的占位符。同时，`--split-by`指定切分字段。5.结合增量导入和query参数:我们可以将增量导入的条件放在自定义查询中，但通常我们也可以直接在where子句中处理。不过，Sqoop的增量导入参数（--incremental,--check-column,--last-value）不能直接与--query一起使用。因此，如果要使用query进行增量导入，我们需要在查询语句中自行添加条件。示例：使用query实现append增量导入sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--query"SELECT*FROMstudentWHEREid>100AND\$CONDITIONS"\--target-dir/user/hive/warehouse/student_incremental\--split-byid\-m1#这里使用-m1表示只有一个map任务，如果数据量大，我们可以使用多个map任务，并指定split-by但是，这样我们就需要自己记录上一次的id最大值，而不是使用Sqoop自动保存的last-value（Sqoop在增量导入后会自动更新last-value记录，但这里不会）。因此，更常见的是使用Sqoop提供的增量导入机制。6.关于引用[3]中提到的，如果没有数字主键，可以使用文本列切分，但需要增加`-D`参数：-Dorg.apache.sqoop.splitter.allow_text_splitter=true示例：sqoopimport-Dorg.apache.sqoop.splitter.allow_text_splitter=true\--connectjdbc:mysql://192.168.58.203:3306/databasesname\--usernameroot\--password123\--tabletablename\--target-dir/sqoopdata/dirname\--delete-target-dir\--fields-terminated-by','\--split-byFieldName\#FieldName是一个文本类型的列-m2注意：使用`--query`时，如果查询中有WHERE子句，需要在条件中加入`$CONDITIONS`，并且整个查询语句用单引号括起来，以避免shell解释变量。在条件中，$CONDITIONS需要用双引号或者转义，如上例中我们使用了双引号，然后转义了美元符号（写成`\$CONDITIONS`），或者我们可以用单引号包裹整个查询，然后用`$CONDITIONS`（不转义），因为单引号会阻止变量扩展。最后，我们给出一个综合示例，使用增量导入（lastmodified模式）并指定列和条件：sqoopimport\--connectjdbc:mysql://hadoop:3306/db03\--usernamesqoop03\--password123456\--tablestudent\--columnsid,name,age,update_time\--where"age>18"\--hive-import\--hive-tablemyhive.student1\--incrementallastmodified\--check-columnupdate_time\--last-value"2023-01-0100:00:00"\--merge-keyid#在lastmodified模式中，我们通常需要指定一个合并键，以便将新数据和旧数据合并（对于更新操作）注意：`--merge-key`仅适用于lastmodified模式，它指定一个列（通常是主键）用于合并新记录和已有记录（HDFS上）。总结教程：-增量导入通过`--incremental`指定模式，并配合`--check-column`和`--last-value`使用。-`--where`用于条件过滤，`--columns`用于选择列，`--query`用于自定义复杂查询。-使用`--query`时必须指定`--split-by`和`--target-dir`，并且不能使用`--table`。请根据实际数据表结构和需求调整命令。</think> ### Sqoop 增量数据导入及参数使用教程 #### 一、增量导入模式 Sqoop 提供两种增量导入模式： 1. **append 模式**（增量追加） 适用于带有自增主键的表，语法： ```bash sqoop import \ --connect jdbc:mysql://hadoop:3306/db03 \ --username sqoop03 --password 123456 \ --table student \ --incremental append \ # 增量模式 --check-column id \ # 检查增量列（如主键） --last-value 1000 \ # 上次导入的最大值 --hive-import ``` 2. **lastmodified 模式**（时间戳更新） 适用于含时间戳字段的表，语法： ```bash sqoop import \ --connect jdbc:mysql://hadoop:3306/db03 \ --username sqoop03 --password 123456 \ --table student \ --incremental lastmodified \ # 时间戳模式 --check-column update_time \ # 时间戳字段 --last-value "2023-01-01" \ # 上次导入的最晚时间 --merge-key id # 合并依据的键 ``` #### 二、核心参数详解 1. **`--columns` 参数** ```bash --columns "id,name,age" # 指定导入的字段 ``` **示例**：仅导入姓名和年龄 ```bash sqoop import ... --columns "name,age" ``` 2. **`--where` 参数** ```bash --where "age > 18 AND dept='CS'" # SQL条件过滤 ``` **示例**：导入计算机系的学生 ```bash sqoop import ... --where "department='Computer Science'" ``` 3. **`--query` 参数** ```bash --query "SELECT * FROM student WHERE $CONDITIONS" ``` **注意事项**： - **必须包含 `$CONDITIONS`**（Sqoop分片占位符） - **必须指定 `--split-by`**（分片字段） - **禁用 `--table` 参数** **示例**：跨表联合查询 ```bash sqoop import \ --query "SELECT s.*, d.dept_name FROM student s JOIN department d ON s.dept_id=d.id WHERE $CONDITIONS" \ --split-by s.id \ # 指定分片字段 --target-dir /user/student_data ``` #### 三、综合应用实例 **场景**：增量导入年龄>20的计算机系学生数据到Hive ```bash sqoop import \ --connect jdbc:mysql://hadoop:3306/db03 \ --username sqoop03 --password 123456 \ --query "SELECT id, name, age FROM student WHERE age > 20 AND department='CS' AND \$CONDITIONS" \ --split-by id \ # 分片依据 --incremental append \ # 增量模式 --check-column id \ # 增量检测列 --last-value 5000 \ # 上次导入的ID最大值 --hive-import \ --hive-table myhive.student_cs \ --m 4 # 并行任务数 ``` > **关键说明**： > 1. 使用 `\$CONDITIONS` 需用反斜杠转义（避免shell解析） > 2. `last-value` 会记录在 Sqoop metastore（`sqoop-job`）中 > 3. 增量导入后可用 `sqoop job --exec` 创建自动化任务 #### 四、常见问题解决 1. **非数值分片字段处理**： ```bash -Dorg.apache.sqoop.splitter.allow_text_splitter=true \ --split-by name # 使用文本字段分片 ``` 2. **Hive表字段映射**： ```bash --map-column-hive age=INT,name=STRING # 指定Hive数据类型 ``` 3. **空值处理**： ```bash --null-string '\\N' \ # 字符空值替换 --null-non-string '0' # 数字空值替换 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值