Sqoop数据抽取-待续

最新推荐文章于 2023-05-30 14:19:07 发布

zhangli_5

最新推荐文章于 2023-05-30 14:19:07 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Sqoop 文章标签： sqoop etl工具

本文链接：https://blog.youkuaiyun.com/zhangli_5/article/details/53643485

本文详细介绍了如何使用 Sqoop 进行数据抽取，包括从 HDFS 直接抽取并实现增量抽取的策略，以及如何在 Oozie 中调用 Sqoop 实现单库单表和分库分表的数据导入操作。通过 InputPathFilter 过滤文件，并演示了如何设置数据库连接和查询 SQL 参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop主要用于在HDFS、关系型数据库之间传递数据，可以将关系型数据库数据导入到HDFS，也可以将HDFS数据导出到关系数据库。本文主要讲解一下使用sqoop进行单库单表以及分库分表数据的抽取方法。

直接抽取hdfs数据并实现增量

在实际开发项目中有时候需要直接使用hdfs上已有的数据而且是需要增量抽取，本文例子均是在oozie中调用相关的hadoop组件实现不同的功能，举例代码如下：

<action name="sqoop_import_orders">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                <delete path=""/>
            </prepare>
            <job-xml>${commonPath}/mr-job.xml</job-xml>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>com.jd.ebsdi.mapreduce.workflow.name</name>
                    <value>${wf:name()}</value>
                </property>
                <property>
                    <name>com.jd.ebsdi.mapreduce.batchnum</name>