sqoop操作:从0到1

【sqoop】sqoop2安装时验证因derby的jar包版本过低报错 安装sqoop2时因derby的jar包版本过低报错 场景: 安装的版本为sqoop-1.99.7,即是sqoop2,执行sqoop2-tool upgrade,报错信息如下: $ sqoop2-tool upgrade Setting conf dir: /opt/sqoop/bin/../conf Sqoop home directory: /opt/sqoop Sqoop tool exe... 阅读详情

sqoop:
apache提供,现在已经停止更新了;
同类型的工具:kettle,datax...

基于hadoop的MapReduce中的map阶段,来实现的;


作用:
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具
   1.传统数据库(oracle,mysql...)的数据 导入  到hdfs,hive,hbase...
   2.hdfs,hive,hbase...中的数据  导出  到传统数据库(mysql.oracle..)


问题:
1.如何连接到传统数据库
2.如何找到指定的库或者表
3.如何获取我们需要传递的数据
4.如何把数据存入hdfs/hive


连接到mysql/oracle
sqoop命令所在目录:/opt/module/sqoop/bin
我们的环境,是在hadoop用户下安装的,所以访问之前,建议切换到hadoop用户;
可以配置到环境变量中(/etc/profile)

连接到mysql数据库

需要先拷贝mysql的驱动包到sqoop的lib目录下;

查看指定的数据库有哪些库
sqoop list-databases \
--connect jdbc:mysql://192.168.72.129:3306 \
--username root \
--password 123456

如果要连接到oracle呢?
依然需要先拷贝oracle的驱动包到sqoop的lib目录下
oracle的驱动包的位置:D:\app\Administrator\product\11.2.0\dbhome_1\jdbc\lib
在这个目录下,拷贝ojdbc6.jar到sqoop的lib目录下

sqoop list-tables \
--connect jdbc:oracle:thin:@192.168.50.3:1521:orcl \
--username scott \
--password 123456

oracle中通过sql来导入数据到hdfs中
sqoop import \
--connect jdbc:oracle:thin:@192.168.50.3:1521:orcl \
--username scott \
--password 123456 \
--query 'select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp where sal>1500 and $CONDITIONS' \
--target-dir hdfs://node100:9000/1020/orcl/emp \
-m 1


连接参数可以放在一个配置文件里面,然后调用sqoop命令的时候,可以通过访问配置文件的形式加载参数
任意目录下,创建一个文件:
vi sqoop.cfg

文件内容:
list-databases
--connect
jdbc:mysql://192.168.72.129:3306
--username
root
--password
123456

保存文件内容,然后通过sqoop命令访问:
sqoop --options-file sqoop.cfg


也可以访问库,查看某个指定的库里面,有哪些表
这里只需要在连接的url后面加上指定的库名(同时参数修改为list-tables)就可以了:

sqoop list-tables \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456


导入:
从mysql导入数据到hdfs:
导入指定的表到hdfs:
sqoop import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table emp \
--target-dir hdfs://node100:9000/1020 \
-m 1

导指定的列到hdfs
sqoop import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table emp \
--columns 'sex' \
--target-dir hdfs://node100:9000/1020/mycolumns \
-m 1

限定条件导入
sqoop import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table dept \
--columns 'deptno,dname' \
--where 'loc=1700' \
--target-dir hdfs://node100:9000/1020/where \
-m 1

自行写sql来过滤数据
sqoop import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--query 'select id,dt from sqoop where id>1 and $CONDITIONS order by id asc' \
--target-dir hdfs://node100:9000/1020/sql \
-m 1


query后面可以写双引号,也可以写单引号:
写双引号的时候,注意:$CONDITIONS前面应该加上转义符\


对于password参数,也可以不在这里写,而在执行命令的时候,由用户来输入:
sqoop list-tables \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
-P
这里,通过P参数,由用户在执行的时候再输入密码

从数据库导入数据到hive表中

从数据库查询数据,然后直接导入到hive表所在的目录下
sqoop import \
--connect jdbc:oracle:thin:@192.168.50.3:1521:orcl \
--username scott \
--password 123456 \
--query 'select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp where $CONDITIONS' \
--target-dir hdfs://node100:9000/user/hive/warehouse/testhive.db/emp \
--delete-target-dir \
-m 1


建表:
create table emp1(
   empno int,
   ename string,
   job   string,
   mgr   int,
   hiredate  string,
   sal   int,
   comm  int,
   deptno int
)
row format delimited fields terminated by ',';


往hive的分区表中导数据
--先在hive中建分区表
create table emp02(
   empno int,
   ename string,
   job   string,
   mgr   int,
   hiredate  string,
   sal   int,
   comm  int,
   deptno int
)
partitioned by (create_time string)
row format delimited fields terminated by ','

从oracle中导入数据(--table后面的表名要大写)
sqoop import \
--connect jdbc:oracle:thin:@192.168.50.3:1521:orcl \
--username scott \
--password 123456 \
--table EMP \
--where 'sal<=2000' \
-m 1 \
--fields-terminated-by ',' \
--hive-import \
--hive-database hive \
--hive-table emp02 \
--hive-partition-key create_time \
--hive-partition-value 2022-03-04

mysql导入hive分区表
建分区表
create table stu(
  stuid int,
  stuname string
)
partitioned by (create_date string)
row format delimited fields terminated by ','

导入
sqoop import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table stu \
-m 1 \
--fields-terminated-by ',' \
--hive-import \
--hive-database hive \
--hive-table stu \
--hive-partition-key create_date \
--hive-partition-value 2022-03-05


增量导入
sqoop import \
--connect jdbc:mysql://192.168.50.206:3306/testsqoop \
--username root \
--password 123456 \
--table student \
-m 1 \
--fields-terminated-by ',' \
--hive-import \
--hive-database testhive \
--hive-table stu \
--hive-partition-key create_date \
--hive-partition-value 2022-03-05 \
--incremental append \
--check-column stuid \
--last-value 4


mysql/oracle  -->  hdfs/hive   ===导入
hdfs/hive   -->   mysql/oracle  =====导出

导出
需要先准备好导出目标数据库的库和表
sqoop export --connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table emp \
--export-dir hdfs://node100:9000//user/hive/warehouse/testhive.db/emp \
-m 1


增量导出

sqoop export --connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table emp \
--export-dir hdfs://node100:9000//user/hive/warehouse/testhive.db/emp \
-m 1
--update-mode allowinsert \
--update-key empno


使用job来处理增量导入时,last-value需要手工修改的问题:

mysql-->Hive

job的使用:
job需要先创建,再执行
job的创建,执行的部分参数等,作为job的元数据,需要保存下来;
元数据默认的保存位置:/root/.sqoop下,也可以把元数据保存在第三方的关系型数据库中,比如mysql
要想保存在第三方数据库,需要在sqoop的安装目录的conf/sqoop-site.xml文件中配置数据库连接信息


创建job:
创建之前,需要先完成一些配置:
1.下载java-json.jar包,下载后,把该jar包上传到linux下,sqoop的安装目录的lib目录下;
2.配置环境变量(现有的环境下,不加也能运行)
    vi /etc/profile
        在profile文件内,class_path中,添加sqoop的lib路径
            class_path=xxxxxxxxxx:/opt/module/sqoop/lib

    修改了profile之后,需要更新修改
    source /etc/profile

3.进入sqoop安装目录下的lib目录,找到hive-exec-3.0.0.jar文件,修改文件名(修改其他任意名字)
    mv ./hive-exec-3.0.0.jar ./hive-exec-3.0.0.txt


下面就可以开始创建job了

创建job:
语法:sqoop job --create 名字 -- 要完成的操作
注意:job名字之后--后面,必须有空格

sqoop job --create addDatajob -- import \
--connect jdbc:mysql://192.168.72.129:3306/data \
--username root \
--password 123456 \
--table emp \
-m 1 \
--fields-terminated-by ',' \
--hive-import \
--hive-database testhive \
--hive-table emp \
--hive-partition-key create_date \
--hive-partition-value 2022-03-05 \
--incremental append \
--check-column empno \
--last-value 0

创建成功之后,可以查看job;
sqoop job --list

创建成功之后,可以去调用(执行)新创建的job
(执行之前,需要先把hive-exec...txt改回原来的名字)
sqoop job --exec addDatajob

删除job;
sqoop job --delete addDatajob

sqoop的安装和使用 本实验通过练习sqoop的安装和配置,为学习sqoop准备,并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是:Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后,在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF 阅读详情

相关推荐

Sqoop Hook

atlas(sqoop hook)

li1579026891的博客 1110

大数据从0到1的完美落地之sqoop命令执行

在执行Sqoop命令时,如果每次执行的命令都相似,那么把相同的参数可以抽取出来,放在一个文本文件中,把执行时的参数加入到这个文本文件为参数即可. 这个文本文件可以用。Sqoop的设计就是把数据库数据导入HDFS,所以必须指定连接字符串才能访问数据库,这个连接字符串类似于URL,这个连接字符串通过。上面的可以通过表,字段,条件进行导入,但是还不够灵活,其实Sqoop还可以通过自定义的sql来进行导入,可以通过。中命令中的JDBC连接的参数一般是不变的,可以把它抽取出来放在一个文件中。

千锋教育 279

Python爬虫实战:5分钟搞定微信公众号文章阅读数、点赞数抓取(附完整代码)

本文详细介绍了如何通过Python爬虫技术自动化抓取微信公众号文章的阅读数和点赞数。文章从数据源分析入手,分步讲解了获取文章列表与提取单篇统计数据的完整流程,并提供了应对平台风控的策略与工程化整合方案,帮助开发者高效、合规地完成数据采集任务。

ansible6ops的博客 1339

Sqoop:从0到1(简介安装和使用)

Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括:HDFS、Hive、Hbase等 RDBMS体系包括:Mysql、Oracle、DB2等 Sqoop可以理解为:“SQL 到 Hadoop 和 Hadoop 到SQL”。 简介之后就到了安装环节 配...

bijack的博客 230

HSmartWindowControl vs HWindowControl:Halcon老鸟教你如何根据项目需求选对控件(附性能对比)

本文深度对比Halcon图像处理中的HSmartWindowControl与HWindowControl控件,从性能、内存占用和交互体验等维度提供选型建议。HSmartWindowControl在硬件加速渲染、智能内存管理方面表现优异,特别适合医疗影像和工业检测等高性能需求场景,而HWindowControl则更适合兼容旧系统和资源受限环境。

weixin_30765505的博客 471

复古与新生:老毛子Padavan固件在旧设备上的现代化应用之旅

本文探讨了如何通过刷入Padavan固件,让小米路由器3G(R3G)等老旧设备重获新生,实现现代化应用。详细介绍了从硬件潜力分析、智能家居中枢搭建,到轻量级服务器部署和网络功能扩展的全过程,为技术爱好者提供了一条低成本、高性能的设备改造之路。

k8s6orchestrator的博客 1064

sqoop的使用

地址https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive_2

poplarandwillow的博客 196

斗罗大陆叙事体系与战斗系统设计解析

在文学创作与游戏设计中,世界观构建和战斗系统设计是两大核心技术要素。世界观作为故事发生的背景框架,需要融合东西方文化元素并建立量化标准,如《斗罗大陆》中武魂觉醒与魂环等级体系。战斗系统则需突破简单数值对抗,发展出武魂特性、魂技组合与环境互动的三维体系,其中魂导器技术的引入展现了科技与魔法的创新融合。这些设计原理在RPG游戏开发、网络文学创作等领域具有广泛应用价值,特别是对需要长期运营的IP作品,完善的系统设定能有效支撑剧情延展与商业化开发。本文以现象级作品为例,剖析其武魂拟态理论和魂师工业化构思如何成就经典

weixin_29291069的博客 253

大数据技术之Sqoop

大数据技术之Sqoop

我从不打没有准备的仗! 1万+

Unity采样器过多导致URP默认的Lit.Shader报错(shader error in ‘universal render pipeline/lit’: maximum ps_4_0 samp)

Shader中多个Sample Texture2D,Sample Texture3D或者类似节点的使用,该类节点都需要一个采样器,如果Shader使用超过了16个纹理采样器,如多个Base Color,Normal Map等,就容易超出。是因为每种Shader Model和GPU都有一个对纹理采样器数量的限制,是因为每个采样器都需要在显卡占用一个独立的寄存器,而寄存器的数量是有限的,当超过限制,显卡无法分配更多的寄存器给新的采样器,因此会导致编译错误。2.什么原因导致纹理采样器超出16个?

qq_41884036的博客 4236

FLoRA: 基于异构低秩适应的联邦微调大语言模型

大语言模型(LLMs)的快速发展推动了人工智能的进步,预训练的LLMs可以通过微调适应各种下游任务。联邦学习(FL)通过利用客户端的本地数据进行原位计算,进一步增强了隐私保护的微调,消除了数据移动的需求。然而,考虑到LLMs的巨大参数量,微调LLMs对于资源受限且异构的FL客户端来说是一个挑战。之前的方法采用了低秩适应(LoRA)进行高效的联邦微调,但在LoRA适配器上使用了传统的FL聚合策略。这些方法导致了数学上不准确的聚合噪声,降低了微调效果,并且未能解决异构LoRA的问题。

tiger00O的博客 2071

sqoop 导入mysql数据到hive中,把多个mysql字段数据类型转换hive数据类型

如:sqoop import --connect "jdbc:mysql://192.168.2.42:3306/test?useUnicode=true&amp;characterEncoding=utf-8" --username smap --password ***** --hive-table table_201711 --table table_201711 --hive-import...

xianjie0318的博客 1万+

CVPR 2027 投稿规划:基于近3年录用率与截稿周期的5步时间管理法

本文为计算机视觉研究者提供CVPR 2027投稿的完整规划指南,基于近三年录用率与截稿周期数据,提出五步时间管理法。涵盖选题策略、实验设计、论文写作、同行评审到最终提交的全流程优化,特别针对CVPR日益激烈的竞争环境(2024年投稿量达11532篇,录取率仅23.6%)提供实用解决方案,帮助研究者提升投稿成功率。

weixin_34079177的博客 1182

Sqoop-1.4.6-cdh5.7.0.tar.gz安装 + Sqoop 简单操作

Sqoop安装1 下载1.    下载地址http://archive.cloudera.com/cdh5/cdh/5/2.    环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2 上传到linux上,并解压[hadoop@ruozehadoop000 software]$ tar -xzvf sqoop-1.4.6-cdh5.7.0.tar.gz –C~/app修改用户和用户组 ...

烙痕丷的博客 1274

Qt Installer Framework 简单使用

qt installer framework 简单使用

qq_42815643的博客 2576

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

sqoop概述与简单实践 & sqoop-1.4.6-cdh5.7.0安装

sqoop产生背景 sqoop1与2的区别 sqoop-1.4.6-cdh5.7.0安装 常用命令操作 数据导入导出案例实践 产生背景 当有数据想从RDBMS上抽取到Hadoop时,有以下几种方式: 1)读取一个文件后,加载到Hive的表中 2)通过编写shell脚本来获取RDBMS上的数据,之后通过HDFS shell中的put命令传到HDFS 3)使用MapReduce将RDBMS上的数...

浮生、佐以酒 892

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

数仓元数据管理之Atlas 整合hive HBase Sqoop(2.1.0)

数仓元数据管理之Atlas 整合hive和HBase(2.1.0) 1. 整合Hive 配置了hive的钩子后,在hive中做任何操作,都会被钩子所感应到,并以事件的形式发布到kafka,然后,atlas的Ingest模块会消费到kafka中的消息,并解析生成相应的atlas元数据写入底层的Janus图数据库来存储管理; 修改hive-env.sh export HIVE_AUX_JARS_PATH=/opt/apps/apache-atlas-2.1.0/hook/hive 修改hive

xiaohu21的博客 1769

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

hive学习笔记之八:Sqoop

既然选择这个行业,选择了做一个程序员,也就明白只有不断学习,积累实战经验才有资格往上走,拿高薪,为自己,为父母,为以后的家能有一定的经济保障。学习时间都是自己挤出来的,短时间或许很难看到效果,一旦坚持下来了,必然会有所改变。不如好好想想自己为什么想进入这个行业,给自己内心一个答案。面试大厂,最重要的就是夯实的基础,不然面试官随便一问你就凉了;其次会问一些技术原理,还会看你对知识掌握的广度,最重要的还是你的思路,这是面试官比较看重的。

2301_82242204的博客 866

Sqoop1.4.6配置和使用

http://jingpin.jikexueyuan.com/article/39333.html http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_example_invocations_4 http://blog.youkuaiyun.com/panguoyuan/article/details/38871807 http://...

weixin_30414245的博客 154

cdh jar包 sqoop2_安装sqoop1.4.6-cdh5.5.2

运行环境,hadoop2.6.0-cdh5.5.2所以,下载的sqoop1.4.6也是5.5.2的版本,与之相对。文件安装在了/usr/local/中[root@fa01 hadoop]# tar -zxvf /home/hadoop/sqoop-1.4.6-cdh5.5.2.tar.gz -C /usr/local/[root@fa01 hadoop]# mv ./sqoop-1.4.6-cdh...

weixin_39977276的博客 150

Sqoop的安装与配置

1.下载并解压下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到虚拟机中解压 sqoop 安装包到指定目录,如:2.修改配置文件重命名配置文件修改配置文件sqoop-env.sh3.拷贝JDBC驱动拷贝 jdbc 驱动到 sqoop 的 lib 目录下,如:4. 验证 Sqoop我们可以通过某一个 command 来验证 sqoop 配置是否正确: 出现一些

qq_59336423的博客 665

sqoop导出hdfs数据到mysql_《Hadoop实战手册》一1.5 使用Sqoop从HDFS导出数据到MySQL

本节书摘来异步社区《Hadoop实战手册》一书中的第1章,第1.5节,作者: 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者: 傅杰 , 赵磊 , 卢学裕 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 使用Sqoop从HDFS导出数据到MySQLSqoop是Apache基金会下的一个项目,是庞大Hadoop生态圈...

weixin_34698042的博客 714

sqoop安装

tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/ cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf cp flume-env.sh.template flume-env.sh vim flume-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_144

bingcore的博客 180

Hadoop2.2.0环境下Sqoop1.99.3安装

1.安装准备工作:

hello 2989

mysql 5.7和8.0区别_Sqoop1.4.7 实现将 Mysql 数据与 Hadoop3.0 数据互相抽取

特别说明:该专栏文章均来源自微信公众号【大数据实战演练】,欢迎关注!本文主要讲解 Sqoop 1.4.7 如何实现 Mysql 与 Hadoop 3.0 之间数据互相抽取的。环境基于 Ambari 2.7 + HDP 3.0 部署。之前写过一篇 Sqoop 1.4.6 如何实现 Mysql 与 Hadoop 2.x 之间数据互相抽取的,可参考:《Sqoop概述及shell操作》一、Sqoop Sh...

weixin_39974030的博客 248

安装sqoop

1.sqoop的下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2.上传sqoop 3.解压sqoop sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/ 4.进入/usr/local目录 cd /usr/local 5.将解压后的sqoop-1.4.7.bin__hado

weixin_45955039的博客 2237
上一篇: 存储过程经典例题演示:按科目统计分数段的人数;把各科成绩显示在一条记录里。
下一篇: 用PTHON写循环 对比用ORACLE语句
好好羊
博客等级 码龄5年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

好好羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值