sqoop 脚本打包

最新推荐文章于 2022-06-21 16:23:34 发布

原创最新推荐文章于 2022-06-21 16:23:34 发布 · 316 阅读

2 ·

CC 4.0 BY-SA版权

sqoop 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何通过创建Sqoop脚本来简化从Hadoop HDFS到关系型数据库的数据导出过程。脚本详细展示了如何设置数据库连接、指定表名、配置映射器数量及导出目录等关键参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

每次在终端手动输入那些参数是比较麻烦的, 一般实际使用的时候都会做成 Sqoop 能用的脚本.

脚本一般用 .opt 这样的文件.

当然扩展名无所谓, 用啥都可以!

步骤1: 创建文件

mkdir opt
touch job_HDFS2RDBMS.opt

步骤2: 编写sqoop脚本

# 导出
export
# 连接到 Mysql
--connect 
jdbc:mysql://hadoop201:3306/company
--username 
root
--password 
aaa
--table 
staff
--num-mappers 
1
--export-dir 
/user/hive/warehouse/staff_hive
--input-fields-terminated-by 
"\t"

注意:

Sqoop 要求参数和参数值必须不能在一行
可以有空行
可以添加注释

步骤3: 执行该脚本

sqoop --options-file job_HDFS2RDBMS.opt

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_43193797

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Sqoop 脚本开发规范

pigziprogrammer的专栏

07-02

567

1.目录结构体系 /home/hadoop（开发用户）/app/yw(数据来源、业务)/sh/sqoop 示例：/home/hadoop/app/yw/sh/sqoop home/hadoop（开发用户）/app/yw(数据来源、业务)/sh/param 示例：/home/hadoop/app/yw/sh/param 2.脚本文件命名规范 2.1文件名规范：数据库类型_数据层_日期_表...

Sqoop

weixin_55208421的博客

07-20

457

Sqoop （Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁，它不需要开发人员编写相应的 Map Reduce 代码，只需要编写简单的配置脚本即可，大大提升了开发效率。）简单日志业务流程的分析注意Sqoop的位置 Sqoop简介官网：http://sqoop.apache.org/ ：数据导入导出框架 Sqoop Sqoop产生背景在工作中，我们经常会遇到下面这样的场景。场景一：将关系型数据库中某张表的数据抽取到 Hadoop（HDFS/Hive/HBase）上；场景二：将

参与评论您还未登录，请先登录后发表或查看评论

Sqoop中脚本打包

while false

09-13

422

1.创建一个.opt文件 touch test.opt; 2.编写Sqoop脚本 vi test.opt; 将下面代码写入脚本文件中 export \ --connect jdbc:mysql://172.17.0.6:3306/ys \ --username root \ --password root \ --table test \ --num-mappers 1 ...

04sqoop脚本打包

hao难懂的博客

08-22

153

1.创建一个.opt文件 mkdir opt touch opt/job_HDFS2RDBMS.opt 2.编写sqoop脚本 vi opt/job_HDFS2RDBMS.opt export --connect jdbc:mysql://hadoop102:3306/company --username root --password 000000 --table staff -...

黑猴子的家：Sqoop 脚本打包

黑猴子的博客

09-09

266

使用opt格式的文件打包sqoop命令，然后执行 1、创建一个.opt文件 [victor@node1 sqoop-1.4.7]$ mkdir opt [victor@node1 sqoop-1.4.7]$ touch opt/job_HDFS2RDBMS.opt 2、编写sqoop脚本 [victor@node1 sqoop-1.4.7]$ vim opt/job_HDFS2RDB...

Hadoop实战（10）_Sqoop import与抽取框架封装

weixin_34186128的博客

01-22

174

CDH Hadoop系列目录： Hadoop实战（3）_虚拟机搭建CDH的全分布模式 Hadoop实战（4）_Hadoop的集群管理和资源分配 Hadoop实战（5）_Hadoop的运维经验 Hadoop实战（8）_CDH添加Hive服务及Hive基础 Hadoop实战（9）_Hive进阶及UDF开发 Sqoop语法说明 Sqoop官方学习文档： http://archive.cloudera.c...

尚硅谷大数据技术：Sqoop导出HDFS到RDBMS及脚本打包

通过创建文件、编写sqoop脚本（包含所有必要的导出参数）和执行该脚本，用户可以简化数据导出的操作流程。在 Sqoop 的工作原理上，它通过将导入或导出命令转化为MapReduce任务来实现数据的迁移。MapReduce的任务...

Linux、hbase、hive、shell、sqoop笔记总结+一键开启关闭脚本

qq_56896306的博客

05-24

683

Linux笔记 pwd——————查看当前目录 cd——————切换目录 ls——————查看当前目录下的目录及文件 ls-l或ll——————长格式查看当前文件 ls-a——————查看当前隐藏文件 ls-R——————查看当前目录以及旗下的子目录 ls-h——————显示文件大小单位 stst——————显示文件或文件系统的详细信息 cat——————查看文件内容 cat-n——————查看文件并显示行号 cat-A——————相当于-vET选项的整合，用于列出所有隐藏符号 more或less—

大数据数据传输 Sqoop (四)

鱼的博客

11-10

1172

大数据技术之Sqoop 一、Sqoop简介 Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoo

sqoop工具_202006041735481.docx

06-04

为了简化重复性的数据迁移任务，可以编写sqoop命令脚本，并以`.opt`格式打包。这种做法不仅能够提高工作效率，还能减少人为错误的可能性。例如，创建一个简单的sqoop导入脚本： ```bash #!/bin/bash sqoop import -...

Sqoop脚本调用

寒暄的博客

06-23

982

在生产环境中，肯定不能直接去跑命令，需要使用脚本文件，然后定时执行脚本文件即可。 cd /usr/hdk mkdir job cd job vi RDBMS2HDFS.opt import --connect jdbc:mysql://hadoop01:3306/cs --username root --password 123456 --table staff1 --target-dir /user/cs --delete-target-dir --num-mappers 1

sqoop报错

leezsj的博客

07-28

683

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure javax.net.ssl.SSLException: Unsupported record version Unknown...

sqoop1使用脚本实例

逐梦的博客

09-23

801

sqoop import --connect jdbc:db2://db2数据库ip和端口号 --username 用户名 --password 密码 --query" sql语句 where \$CONDITIONS" --target-dir /抽数路径 -m 1(线程数) --fields-terminated-by "\\001"(分隔符) --hive-drop-import-del...

大数据（二十六）：Sqoop的import、export命令和命令脚本

敲代码的旺财的博客

10-18

1699

一、sqoop导入命令（import）在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据。 1.在MySql中新建一张表并插入一些数据 create database company; create table company.staff(id int(4) primary key not null aut...

Sqoop的简单使用案例(第4章)之Sqoop脚本打包

汪云辉的博客

11-12

201

Sqoop的简单使用案例(第4章)之Sqoop脚本打包使用opt格式的文件打包sqoop命令，然后执行创建一个.opt文件 $ mkdir opt $ touch opt/job_HDFS2RDBMS.opt 编写sqoop脚本 $ vi opt/job_HDFS2RDBMS.opt export --connect jdbc:mysql://hadoop102:3306/com...

sqoop导出脚本

sunlang的博客

05-30

353

#!/bin/bash if [ $1 ]; then export hive_db_name=$1 else echo “请指定要导出的源数据库” exit 1 fi if [ $2 ]; then export hive_t_name=$2 else echo “请指定要导出的源表名” exit 1 fi if [ $3 ]; then export mysql_db_name=$3 else echo “请指定目标数据库” exit 1 fi echo "这是一个通用的数据导出脚本...,手.

【笔记】Sqoop 脚本开发规范

ZoeYen_

12-05

1199

目录规范1.目录结构体系/home/hadoop（开发用户）/app/test(数据来源、业务)/sh/sqoop示例：/home/hadoop/app/test/sh/sqoophome/hadoop（开发用户）/app/test(数据来源、业务)/sh/param示例：/home/hadoop/app/test/sh/param2.脚本文件命名规范2.1文件名规范：数据库类型数据层日期_表实体命

Sqoop接入shell脚本

shyming's blog

06-21

776

基于sqoop接入mysql到hive的shell脚本