使用ETL工具Sqoop，将MySQL数据库db03中的10张表的表结构和数据导入（同步）到大数据平台的Hive中

最新推荐文章于 2024-10-09 19:24:15 发布
原创 最新推荐文章于 2024-10-09 19:24:15 发布 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mysql #sql

在MySQL中创建了一个名为sqoop03的用户，设置了密码，并创建了数据库db03。然后通过sqoop03用户在db03数据库中创建了10张不同结构的表，并插入了数据。最后，使用Sqoop工具将这些表的结构和数据同步导入到了Hadoop集群的Hive中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 在MySQL中，创建一个用户，用户名为sqoop03，密码为：123456

启动MySQL：support-files/mysql.server start

进入MySQL：mysql -u root -p

创建用户sqoop03：grant all on *.* to sqoop03@'%' identified by '123456';

（1）登陆MySQL的sqoop03用户，创建一张数据库，数据库的名称为db03。登录到mysql的sqoop03用户

mysql -u sqoop03 -p

（2）创建数据库sqoop03

create database db03;

2.通过sqoop查看mysql的sqoop03 用户下有哪些数据库

命令：sqoop list-databases -connect jdbc:mysql://127.0.0.1:3306 -username sqoop03 -password 123456

3.在数据库db03中创建10张表，表名和字段可以自定义，每张表的数据不少于5行

(1)创建第一张表

mysql> use db03

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> create table tb01(name char(100),id char(100));

Query OK, 0 rows affected (0.75 sec)

mysql> insert into tb01 values('zhh','100');

Query OK, 1 row affected (0.16 sec)

mysql> insert into tb01 values('za','101');

Query OK, 1 row affected (0.09 sec)

mysql> insert into tb01 values('zrr','102');

Query OK, 1 row affected (0.02 sec)

mysql> insert into tb01 values('gg','103');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb01 values('qq','104');

Query OK, 1 row affected (0.04 sec)

(2)创建第二张表

mysql> create table tb02(name char(100),sex char(30),age int);

Query OK, 0 rows affected (0.26 sec)

mysql> insert into tb02 values('qq','man','104');

Query OK, 1 row affected (0.12 sec)

mysql> insert into tb02 values('zz','man','13');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb02 values('cf','woman','23');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb02 values('gg','woman','20');

Query OK, 1 row affected (0.02 sec)

mysql> insert into tb02 values('gf','woman','26');

Query OK, 1 row affected (0.00 sec)

(3)创建第三张表

mysql> create table tb03(name char(100),heiht float);

Query OK, 0 rows affected (0.26 sec)

mysql> insert into tb03 values('gf',115);

Query OK, 1 row affected (0.26 sec)

mysql> insert into tb03 values('zz',165);

Query OK, 1 row affected (0.06 sec)

mysql> insert into tb03 values('jz',155);

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb03 values('kk',150);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb03 values('ll',167);

Query OK, 1 row affected (0.01 sec)

(4)创建第四张表

mysql> create table tb04 (name char(100), tel char(30));

Query OK, 0 rows affected (0.11 sec)

mysql> insert into tb04 values('hh','110');

Query OK, 1 row affected (0.04 sec)

mysql> insert into tb04 values('zz','111');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('gg','112');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('jj','113');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('nm','114');

Query OK, 1 row affected (0.01 sec)

(5)创建第五张表

mysql> create table tb05 (name char(100),adress char(100));

Query OK, 0 rows affected (0.08 sec)

mysql> insert into tb05 values('hh','ChongQing');

Query OK, 1 row affected (0.04 sec)

mysql> insert into tb05 values(kk','guangdong');

mysql> insert into tb05 values('kk','guangdong');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb05 values('Jack','YunNan');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb05 values('Jf','YunNan');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb05 values('fg','HeNan');

Query OK, 1 row affected (0.00 sec)

(6)创建第六张表

mysql> create table tb06 (name char(100),love  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb06 values('Marry','Sing');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb06 values('Mm','hhh');

Query OK, 1 row affected (0.06 sec)

mysql> insert into tb06 values('kk','hj');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb06 values('ss','hj');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb06 values('rts','dg');

Query OK, 1 row affected (0.01 sec)

(7)创建第七张表

mysql> create table tb07 (name char(100),academic  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb07 values('Marry','Senior');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('Mm','Senior');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb07 values('oo','Ungergraduate');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('hh','Ungergraduate');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('iu','Ungergraduate');

Query OK, 1 row affected (0.00 sec)

(8)创建第八张表

mysql> create table table08 (name char(100),work  char(50));

ERROR 1050 (42S01): Table 'table08' already exists

mysql> create table tb08 (name char(100),work  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb08 values('hh','Driver');

Query OK, 1 row affected (0.03 sec)

mysql> insert into tb08 values('ll','singer');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb08 values('tt','teacher');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb08 values('qq','teacher');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb08 values('yq','teacher');

Query OK, 1 row affected (0.00 sec)

(9)创建第九张表

mysql> create table tb09 (name char(100),salary int);

Query OK, 0 rows affected (0.23 sec)

mysql> insert into tb09 values('Ma',6000);

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb09 values('hh',4000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('gh',3000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('yy',9000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('oy',2000);

Query OK, 1 row affected (0.00 sec)

(10)创建第十张表

mysql> create table tb10 (name char(100),status char(30));

Query OK, 0 rows affected (0.11 sec)

mysql> insert into tb10 values('Ma','Single');

Query OK, 1 row affected (0.09 sec)

mysql> insert into tb10 values('hh','Single');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb10 values('ih','Married');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb10 values('pp','Married');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb10 values('lh','Married');

Query OK, 1 row affected (0.01 sec)

建立的10张表如下：

​​​​​​​​​​​​​​3、使用ETL工具Sqoop，将MySQL数据库db03中的10张表的表结构和数据导入（同步）到大数据平台的Hive中

(1)启动sqoop：

[root@HadoopMaster bin]# ./sqoop list-databases -connect jdbc:mysql://HadoopMaster:3306/ -username sqoop03 -password 123456

命令：

 sqoop import -connect jdbc:mysql://HadoopMaster:3306/db03 -username sqoop03 -password 123456 -table tb01 -hive-import -hive-table bigdata03.tb01 -m 1

显示成功：

​​​​​​​​​​​​​​

 （10个表依次输入命令即可。）

4、结果如下：

hive> show tables;

在9870端口查看如下：

【大数据之路8】数据迁移工具 Sqoop 的使用
程序员五哥
06-14 1196
Sqoop：数据迁入迁出的工具，也是一个命令行工具迁入迁出的对象：RDBMS 和 Hadoop 生态之间，即关系型数据库和大数据存储系统之间的数据传输Sqoop 操作：迁入（import）数据RDBMS→Sqoop→Hadoop。MySQL、Oracle 等关系型数据库的数据迁入到大数据存储系统 Hadoop 的hdfs、Hive、HBase 中迁出（export）数据Hadoop→Sqoop→RDBMS。
用sqoop从Mysql多表/单表导入hdfs命令
海鸥~
06-22 5142
一、 sqoop命令从Mysql单表导入hdfs命令 bin/sqoop import \ --connect jdbc:mysql://10.160.000.117:3306/phjr_data \ --m 1 \ --username mysql \ --password minmin@123 \ --table t_fgw_qt_lhszzxx \ --target-dir /smxaq/PHJR/phjr_data/t_fgw_qt_lhszzxx \ --as-textfile \ --fiel
Sqoop1.4.4实现关系型数据库多表同时导入HDFS或Hive中
NIITYZU的专栏
01-20 4721
问题导读：          1、使用Sqoop哪个工具实现多表导入？          2、满足多表导入的三个条件是？          3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？ 一、介绍         有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。
常见ETL工具一览，你知多少？
sunshine_hope的博客
09-08 3033
这些年，几乎都与ETL打交道，接触过多种ETL工具。现将这些工具做个整理，与大家分享。 一 ETL工具 【国外】 datastage 点评：最专业的ETL工具，价格不菲，使用难度一般 下载地址：ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSO BT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475 －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
使用Sqoop job工具同步数据
weixin_33775582的博客
04-13 249
我们使用的是Sqoop-1.4.4，在进行关系型数据库与Hadoop/Hive数据同步的时候，如果使用--incremental选项，如使用append模式，我们需要记录一个--last-value的值，如果每次执行同步脚本的时候，都需要从日志中解析出来这个--last-value的值，然后重新设置脚本参数，才能正确同步，保证从关系型数据库同步到Hado...
Mysql ETL数据抽取工具 kettle
Andy_Health的博客
04-14 827
作业：zuoye1.kjb文件是Windows端设计完成后导入进来的，kjb需要引用ktr文件（Windows生成的文件上产Linux需要考虑路径问题！mysql驱动同时拷贝到Linux上/lib文件夹下。2、 linux下安装kettle。1、 Windows下使用教程。3、 shell脚本执行。
sqoop连接mysql生效一次_记一次sqoop同步到mysql
weixin_39928233的博客
01-18 198
工作中需要用到将hive的数据导一份到mysql中，需求是这样的：hive每天会产生一份用户标签(tag)发生变化的结果表user_tag，这份结果同步到mysql中，并且保持一份全量表，存储当前用户的标签。最初打算是在mysql建立一个分区表，按照天存储user_tag，研究了一下mysql的分区表，最终没有使用，既然学习了就做一下笔记。 ###mysql按照时间分区 mysql的分区方法分为好...
sqoop从MySQL数据库导入hive中
weixin_49797595的博客
08-17 243
需求场景 将MySQL中的某张表导入到hive中 需添加一些插入时间及插入方式的新字段 代码 sqoop import \ -D sqoop.parquet.logical_types.decimal.enable=true \ -D parquetjob.configurator.implementation=hadoop \ -D sqoop.avro.decimal_padding.enable=true \ -D sqoop.avro.logical_types.decimal.default.
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql
我玩的很开心的博客
07-23 2347
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop job任务 一、Sqoop概述 Sqoop是什么？ Sqoop是一个用
将hive数据库中的数据导入到MySQL中的方式
热门推荐
QvQ
08-04 1万+
天气炎热，写篇文章降降温，防止中暑。 大数据的数据转置过程中，经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是，如利用sqoop的方式、kettle等中间工具。 今天正好闲来无事，考虑在不利于以上2种方式的情况下，成功将hive数据库中的数据导入到了MySQL中。以下为实例。 首先附上一张思路图： 命题：在Hadoop的/file目录中，有一个...
【大数据】一篇认识Hive
m0_46181896的博客
10-09 3533
文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四
kettle（ETL工具）mysql 5.7 数据库的驱动包
07-03
kettle（ETL工具）mysql 5.7 数据库的驱动包，放到data-integration\lib目录中即可
sqoop同步mysql间的数据_数据迁移之Sqoop
weixin_39980353的博客
02-04 1415
一 简介Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。1.Sqoop是什么Sqoop：SQL-to-Hadoop连接 传统关系型数据库 和 Hadoop 的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里...
mysql etl工具_ETL工具之kettle的使用(一) MongoDB->Mysql
weixin_39856269的博客
01-19 218
org.pentaho.di.core.exception.KettleDatabaseException:Error occurredwhiletrying to connect to the databaseDriverclass 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar fi...
ETL工具Kettle研究-3-MySQL数据导入HIVE
阿啄debugIT
02-04 1671
前言 .从数据库(mysql)中读取数据写入HDFS并建hive表。 在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。 本实践的元数据文件：mysql-to-hive.ktr 1.数据库配置 主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息) 注意...
数据工具sqoop用法之mysql与hive数据导入导出
萌兔兔MMQ！！
08-26 736
二、目录![在这里插入图片描述](https://img-blog.csdnimg.cn/5365076218b84b1b81f5795227b3ecde.png)
Sqoop导入mysql所有表到HDFS
程裕强的专栏
05-24 1646
1、sqoop-import-all-tables导入多表 [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --username root --password 123456 --as-textfile --warehouse-dir /user/root W...
sqoop同步数据mysql----＞hive
qq_55906442的博客
04-17 1484
通过sqoop把MySQL数据库中mysql库的表同步到hive上。 前提：开启Hadoop 1.查看hive中的表，为了方便验证实验的成功与否。 2.查看MySQL数据库中的表。 3.同步表结构 MySQL中的表为：time_zone_transition_type、time_zone_leap_second hive中的表为：time_zone_transition_type、time_zone_leap_second MySQL中的数据库名为：mysql s...
Sqoop教程（二）使用Sqoop在MySQL与Hive之间进行数据导入导出操作
Java朱老师博客
05-11 1809
Sqoop主要作用是提供方便的Hive表和关系型数据库表的数据的导入导出操作。 运行Sqoop需要启动Hadoop 在hp1的MySQL中新建数据库test_sqoop，并建表student： 表结构： 表数据： 根据MySQL中student表结构，直接在Hive中建立一张表student_h： sqoop create-hive-table -connect jdbc:mysql://localhost:3306/test_sqoop -table student -username root -p
如何将表级数据血缘写入Neo4j
最新发布
02-18
### 表级别数据血缘关系在Neo4j中的建模与写入 #### 1. 数据模型设计 为了有效地表示表级别的数据血缘关系，在 Neo4j 中可以采用节点和边相结合的方式进行建模。具体来说： - **节点(Node)**：代表各个数据库表，属性包括但不限于表名、所属库名称等基本信息。 - **边(Relationship)**：用来描述不同表格之间的依赖关系或转换操作，携带有关处理逻辑的信息。 这种结构能够清晰展示各张表之间是如何相互关联并影响彼此的数据流动情况[^2]。 ```cypher // 创建表节点示例 CREATE (hive_table:HiveTable {name:'orders', database:'ecommerce'}) CREATE (spark_table:SparkTable {name:'order_items', database:'sales'}) // 建立两表间的关系,假设订单明细由订单派生而来 MATCH (source:HiveTable{name:'orders'}), (target:SparkTable{name:'order_items'}) MERGE (source)-[:GENERATES]->(target) ``` #### 2. ETL过程集成 对于已经存在的历史血缘信息，可通过ETL工具定期抽取元数据变更记录，并将其转化为Cypher语句批量导入至图数据库内；而对于新增的任务，则可以在执行前动态生成相应的CQL命令完成即时同步更新[^1]。 ```bash # 使用sqoop或其他工具导出MySQL中所有表结构定义为JSON文件 $ sqoop export ... # Python脚本读取上述json并将之转成neo4j可接受格式 import json from py2neo import Graph graph = Graph("http://localhost:7474", auth=("username","password")) with open('tables.json') as f: tables = json.load(f) for table in tables: cypher_query = "MERGE (t:{engine} {{ name : '{table_name}', schema :'{schema}'}})".format( engine=table['type'], table_name=table['tableName'], schema=table.get('schema','default') ) graph.run(cypher_query) # 如果存在父级表则创建关系 parent_tables = table.get('parentTables',[]) for p in parent_tables: rel_cypher="MATCH (p),(c) WHERE c.name='{child}' AND p.name='{parent}' MERGE (p)-[:FEEDS_INTO]->(c)" graph.run(rel_cypher.format(child=table['tableName'],parent=p)) ``` #### 3. 查询优化建议 考虑到大规模企业环境下可能涉及数万甚至数十万个对象实例及其复杂交错的关系网络，在实际部署过程中需特别注意索引设置以提高查询效率。针对频繁访问的关键路径上的标签(Label)，应考虑为其添加唯一约束或者全文检索能力来加速特定场景下的遍历速度[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨染盛夏呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值