sqoop跑数模板保存

最新推荐文章于 2024-10-31 15:16:16 发布
原创 最新推荐文章于 2024-10-31 15:16:16 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #hadoop #python

本文介绍了如何使用Sqoop通过Oracle连接，将数据从V45HRXT.T_D_AC_TRADE_ZYW表导出到Hive仓库，包括参数设置、表选择和文件格式定义等关键步骤。 
kinit -kt /var/lib/hue/hue.keytab hue 
sqoop import \
-D mapred.job.queue.name=root.etl.ld \
-D org.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:oracle:thin:@$1:$2:$3 \
--username $4 \
--password $5 \
--query "SELECT 
            C_IDEN,
            C_IDEN_RELA,
            C_SEC_CODE,
            C_SEC_CODE_TAG,
            N_TD_AMOUNT,
            C_TD_TYPE,
            D_UPDATE_INFO
            FROM V45HRXT.T_D_AC_TRADE_ZYW
            WHERE \$CONDITIONS" \
--target-dir /user/hive/warehouse/ld.db/fa45_t_d_ac_trade_zyw \
--split-by C_IDEN \
--fields-terminated-by '\001' \
--delete-target-dir \
--hive-drop-import-delims \
--mapreduce-job-name sqoop_fa45_t_d_ac_trade_zyw \
--num-mappers 1 \
--null-string '\\N' \
--null-non-string '\\N' \
--as-textfile
sqoop/datax+hive+dolphinscheduler
csdn_gyb的博客
08-26 1647
sqoop/datax+hive+dolphinscheduler
浅谈数据开发神器——数栈离线开发平台（BatchWorks）
a958014226的博客
04-21 2937
数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！ github开源项目：https://github.com/DTStack/flinkx gitee开源项目：https://gitee.com/dtstack_dev_0/flinkx 随着数智.
Sqooop使用模板
风
09-15 398
Sqoop使用模板 Sqoop使用模板 1、测试连接数据库 2、将数据从MySQL导入到HDFS 1、导入到默认的HDFS路径 2、导入到自定义路径 3、设置map的数量，以及删除目标文件夹，防止目标路径已存在 4、设置map的数量，以及删除目标文件夹，以及指定导出分隔符 3、将数据从MySQL导入到hive中 4、将数据从HDFS导出到MySQL中 5、将数据从hive导出到M...
【数据中台】sqoop使用模板
孟知之的搬砖填坑历险记
01-13 292
前段时间，有一个临时数据分析需求，需要将数据从oracle导到大数据平台，自己请拿到了同事给的模板，利用sqoop将数据导入hive。同时也在网上学习了一下增量导入，并记录下来。 sqoop非增量导数据模板 !/bin/bash JDBC=oracle:thin:@192.168.XXX.XXX/orcl USERNAME=admin 模板 sqoop job -delete torde...
Sqoop导入导出模板
QiSorry
03-26 230
从mysql导入hdfs /opt/module/sqoop/bin/sqoop import \ --\connect jdbc:mysql://worker-13:3306/$APP \ --username root \ --password 123456 \ --target-dir /origin_data/$APP/db/$1/$do_date \ --delete-target-dir \ --query "$2 and \$CONDITIONS" \ --num-mappers 1 \ -
sqoop常用模板案例整理
fengjian的博客
07-06 1391
使用sqoop导入/导出数据 首先，导入和导出是相对与hdfs来说的，将数据添加到hdfs中，称之为导入import;反之为导出export。 导出(导出到MySQL) 需要准备要数据和MySQL表 #数据 1 sunwukong male 2 qiqi female 3 beijita male 4 buerma female 5 kelin male 6 bike male --建表 create table sqp_people( id int, name varchar(20), gender v
sqoop常用模板
sszxfjkhzui的博客
03-01 103
【代码】sqoop常用模板。
安装配置sqoop（超详细）
2301_78038072的博客
10-21 6664
sqoop就是sql-to-hadoop，说通俗点，我们用到最多的就是mysql与hive之间的数据传递，而hive是依靠hadoop运行的，所以要再mysql和hive之间互相传递数据，就必须要安装sqoop。
hadoop16--sqoop
大数据开发工程师
11-13 380
大数据协作框架 在hadoop生态领域中, 协作框架主要分为以下四种: sqoop: 关系型数据库导入, 导出到HDFS, HIVE, HBASE flume: 日志收集框架, 主要收集日志服务器上产生的文件 oozie: 任务调度框架, 在YARN上提交的任务有很多, 每个任务什么时候运行, 该如何运行, 都是需要调度的 hue: 可视化工具 sqoop 框架功能与版本介绍 sqoop功能 ...
数禾云上数据湖最佳实践
阿里云云栖号
01-21 3821
简介： 数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个Cloudera Hadoop集群的能力。为了减轻Cloudera集群的压力，我们结合自身业务情况，在阿里云上落地一个适合数禾当前现实状况的数据湖。 1.数禾科技 数禾科技成立于2015年8月，是分众传媒、红杉资本、.
每日互动基于 Apache DolphinScheduler 从容应对ClickHouse 大数据入库瓶颈
Apache DolphinScheduler开源社区
10-31 920
面临的技术挑战零压入库的实现方式生产应用效果及思考整个分享的内容设计较为简洁，我们会围绕实际遇到的问题和解决方案展开讨论，并分享在开源和非开源技术中的探索和应用经验。最后，我们会讲述生产应用中的效果，以便大家能够从中获得启发，在未来的类似场景中取得更好的体验和成果。首先，我们先来解释一下“零压入库”的概念。可能很多人听过“零压大床房”这个词，它指的是让人感受到舒缓、无压力的睡眠体验。而在我们的技术场景中，“零压入库”指的是如何让ClickHouse。
Sqoop详解
hello，Mr张
12-06 1002
Sqoop介绍 Sqoop是在hadoop和数据库之间传输大量数据的工具 原理：将导入导出命令翻译成MR成功徐来实现，在翻译出的MR中主要是对inputformat和outputformat进行定制。 安装与配置 1）解压安装 （这里以sqoop1.4.7为例） 2）修改配置文件 重命名文件mv sqoop-env-template.sh sqoop-env.sh 修改 sqoop-env...
oracle限制条数
jtpython666的博客
09-01 5731
oracle限制条数和mysql不一样。oracle为 where rownum<100000。 mysql为limit。
hive删除表语句
jtpython666的博客
01-11 5340
-- 删除库 drop database if exists db_name; -- 强制删除库 drop database if exists db_name cascade; -- 删除表 drop table if exists employee; -- 清空表 truncate table employee; -- 清空表，第二种方式 insert overwrite table employee select * from employee where 1=0; -- 删除分区
sql查询技巧之记录数
jtpython666的博客
08-05 2772
当你想要分类查询记录数是，比较好的方法是group by 分组，然后使用count()计算，count会返回有多少条记录，sum是求和。当看到关键词“各个”时候，应该联想到group by 有一个部门表departments简况如下: 有一个，部门员工关系表dept_emp简况如下: 有一个薪水表salaries简况如下: 请你统计各个部门的工资记录数，给出部门编码dept_no、部门名称dept_name以及部门在salaries表里面有多少条记录sum，按照dept_no升序排序，以上例子输出如下
ora-01858 报错解决
jtpython666的博客
09-01 2376
报错原因是导出表和导入的表结构不一样，不能用 insert into abc select * from dw_credit_feedback; 应该把*换成所有字段，把字段具体写出来就行
hive建表脚本
jtpython666的博客
11-29 2067
drop table if exists ld.boi_asset_units; create table if not exists ld.boi_asset_units ( asset_unit_code string comment'资产单元代码' ,asset_unit_name string comment'资产单元名称' ,asset_unit_group_co
exist用法
jtpython666的博客
08-26 1877
exists表示()内子查询语句返回结果不为空说明where条件成立就会执行主sql语句，如果为空就表示where条件不成立，sql语句就不会执行。not exists和exists相反，子查询语句结果为空，则表示where条件成立，执行sql语句。负责不执行。 之前在学Oracle数据库的时候，接触过exists，做过几个简单的例子,，如 1.如果部门名称中含有字母A，则查询所有员工信息(使用exists) select * from emp where exists (select * from dep
sqoop抽数
最新发布
09-20
<think> 嗯，用户想了解Sqoop数据抽取的方法、流程和注意事项。从对话历史看，用户之前没有直接问过Sqoop相关问题，但系统提供了四个相关引用文档，需要重点参考这些内容。 用户可能正在搭建数据仓库或需要做异构数据库同步，属于中高级开发者。ta明确要求方法、流程和注意事项三部分，说明需要实操指导而非概念科普。 梳理引用内容的关键点： 引用[1][3]提到Sqoop核心功能是在关系数据库和Hadoop生态之间传输数据，主要支持全量和增量两种模式。引用[4]详细展示了全量导入的完整命令及参数说明，特别是--query条件抽取、-m控制并发度这些实用技巧。引用[2]则提醒了项目现状——虽然Sqoop在老旧系统常用，但新项目建议考虑NiFi等替代方案。 准备这样组织回答： 方法部分要区分全量和增量两种模式，引用[4]的代码示例很实用，但需简化避免冗余。流程部分从配置驱动开始到数据校验结束，结合引用[3]的架构图说明MapReduce任务调度机制。注意事项要强调引用[2]提到的归档状态风险，以及引用[4]遇到的空值处理等典型问题。 特别要注意用户要求"尽可能多参考上次回答"，但历史记录显示这是首次讨论Sqoop，所以会重点结合所有引用内容而非依赖过往对话。中文表述需保持专业但避免术语堆砌，数学表达式如一致性校验公式要用$$独立成段。 </think> 以下是 Sqoop 进行数据抽取的方法、核心流程及注意事项，综合参考多篇技术文档整理： --- ### **一、数据抽取方法** 1. **全量导入（Full Import）** - 适用场景：首次导入或小规模表 - 语法示例： ```bash sqoop import \ --connect jdbc:mysql://host:port/db \ --username user --password pass \ --table source_table \ --target-dir /hdfs/path \ --delete-target-dir \ # 覆盖目标目录 -m 4 # 并发任务数 ``` 2. **增量导入（Incremental Import）** - **追加模式（Append）**：基于自增主键（如 `id`） ```bash sqoop import \ --incremental append \ --check-column id \ # 增量字段 --last-value 1000 \ # 上次导入的最大值 ...其他参数 ``` - **日期模式（LastModified）**：基于时间戳字段 ```bash sqoop import \ --incremental lastmodified \ --check-column update_time \ --last-value "2023-10-01 00:00:00" \ --merge-key id # 合并重复记录 ``` 3. **条件抽取（Query Import）** 使用自定义 SQL 筛选数据： ```bash sqoop import \ --query 'SELECT * FROM table WHERE $CONDITIONS' \ --split-by id \ # 切片字段（必须） ...其他参数 ``` --- ### **二、核心流程** 1. **配置驱动** - 将数据库驱动（如 `mysql-connector-java.jar`）放入 `$SQOOP_HOME/lib`。 2. **定义连接参数** - JDBC URL、认证信息、目标存储路径（HDFS/Hive/HBase）。 3. **选择导入模式** - 全量/增量/条件查询，指定并发度（`-m`）和切片字段（`--split-by`）。 4. **执行 MapReduce 任务** - Sqoop 将任务分解为 Map 任务并行拉取数据，默认每个 Map 处理一个数据分片。 5. **数据格式转换与写入** - 自动转换为 HDFS 文件（如文本、Avro）或直接导入 Hive/HBase。 6. **校验与日志分析** - 检查作业日志中的计数器（如 `Bytes Written`）验证数据完整性。 --- ### **三、关键注意事项** 1. **并发控制** - **切片字段必选**：若 `-m >1` 必须指定 `--split-by`（如主键或索引列），避免数据倾斜[^4]。 - **事务表风险**：高并发读取可能阻塞源数据库，建议在低峰期操作。 2. **空值处理** - 使用 `--null-string '\\N' --null-non-string '\\N'` 统一替换 NULL 值，避免 Hive 解析错误[^4]。 3. **特殊字符转义** - 添加 `--hive-drop-import-delims` 删除字段中的 `\n`、`\r` 等分隔符，防止 Hive 行错位[^4]。 4. **增量导入限制** - LastModified 模式需配合 `--merge-key` 合并更新记录，否则生成重复文件。 5. **替代方案评估** - Sqoop 已归档至 Apache Attic，新项目建议使用 **Flink CDC**（流式同步）、**DataX**（多源支持）或 **NiFi**（可视化流）[^2]。 6. **性能优化** - **压缩传输**：添加 `--compression-codec lzo` 减少网络开销。 - **批量提交**：调整 `--batch` 参数启用 JDBC 批量拉取。 --- ### **四、典型问题解决方案** - **问题：`--query` 条件导入失败** 原因：缺少 `$CONDITIONS` 占位符或 `--split-by`。 修复：确保 SQL 中包含 `WHERE $CONDITIONS` 并指定切片字段[^4]。 - **问题：Hive 表字段错位** 原因：源数据含换行符。 修复：启用 `--hive-drop-import-delims` 或自定义分隔符 `--fields-terminated-by '\t'`[^4]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值