sqoop将mysql数据导入hdfs和hive学习笔记

最新推荐文章于 2023-05-11 21:29:06 发布
原创 最新推荐文章于 2023-05-11 21:29:06 发布 · 987 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

本文详细介绍如何使用SQLOOP工具将MySQL数据导入HDFS和HIVE，包括配置步骤、命令参数解析及常见错误处理。通过实例演示，帮助读者掌握数据迁移技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

#安装好以后将mysql驱动mysql-connector-java-5.1.21-bin.jar放到sqoop安装目录的lib下面

一、将mysql数据导入hdfs，命令如下：

[root@master bin]# /apps/sqoop-1.4.7/bin/sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password xxxxxx \
--table t_user \
--target-dir /sqoop/localhost/sqoop/t_user \
--delete-target-dir \
--num-mappers 1 \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--fields-terminated-by '|'

导入成功：

–append				将数据追加到hdfs中已经存在的dataset中。使用该参数，sqoop将把数据先导入到一个临时目录中，
				然后重新给文件命名到一个正式的目录中，以避免和该目录中已存在的文件重名。

–as-avrodatafile		将数据导入到一个Avro数据文件中

–as-sequencefile		将数据导入到一个sequence文件中

–as-textfile			将数据导入到一个普通文本文件中，生成该文本文件后，可以在hive中通过sql语句查询出结果。

–boundary-query <statement>	边界查询，也就是在导入前先通过SQL查询得到一个结果集，然后导入的数据就是该结果集内的数据，
				格式如：–boundary-query ‘select id,creationdate from person where id = 3’，表示导入的数据为id=3的记录，
				或者select min(<split-by>), max(<split-by>) from <table name>，注意查询的字段中不能有数据类型为字符串的字段，
				否则会报错：java.sql.SQLException: Invalid value for getLong()目前问题原因还未知

–columns<col,col,col…>		指定要导入的字段值，格式如：–columns id,username

–direct				直接导入模式，使用的是关系数据库自带的导入导出工具。官网上是说这样导入会更快

–direct-split-size		在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据的时候，
				可以将一个到达设定大小的文件分为几个独立的文件。

–inline-lob-limit		设定大对象数据类型的最大值

-m,–num-mappers			启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的节点数

–query，-e<statement>		从查询结果中导入数据，该参数使用时必须指定–target-dir、–hive-table，在查询语句中一定要有where条件且在where条件中需要包含$CONDITIONS，
				示例：–query ‘select * from person where $CONDITIONS ‘ –target-dir /user/hive/warehouse/person –hive-table person

–split-by<column-name>		表的列名，用来切分工作单元，一般后面跟主键ID

–table <table-name>		关系数据库表名，数据从该表中获取

–target-dir <dir>		指定hdfs路径

–warehouse-dir <dir>		与–target-dir不能同时使用，指定数据导入的存放目录，适用于hdfs导入，不适合导入hive目录

–where				从关系数据库导入数据时的查询条件，示例：–where ‘id = 2′

-z,–compress			压缩参数，默认情况下数据是没被压缩的，通过该参数可以使用gzip压缩算法对数据进行压缩，适用于SequenceFile, text文本文件, 和Avro文件

–compression-codec		Hadoop压缩编码，默认是gzip

–null-string <null-string>	可选参数，如果没有指定，则字符串null将被使用

–null-non-string<null-string>	可选参数，如果没有指定，则字符串null将被使用

二、将mysql数据导入hive，命令如下：

/apps/sqoop-1.4.7/bin/sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password xxxxxx \
--table sx_hospital \
--target-dir /sqoop/localhost/sqoop/sx_hospital \
--delete-target-dir \
--num-mappers 1 \
--hive-import \
--hive-database hadoop_dw \
--hive-table sx_hospital \
--hive-drop-import-delims \
--create-hive-table \
--hive-overwrite \
--fields-terminated-by '|'

导入过程中可能遇到的错误及解决办法：

执行报错：
19/03/05 17:48:25 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
19/03/05 17:48:25 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
	at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
	at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
	at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
	at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
	at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:537)
	at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:628)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:264)
	at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
	... 12 more
解决办法：
1、将sqoop安装目录下的conf目录中的sqoop-env-template.sh复制为sqoop-env.sh
并且指定

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.0

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.0

#set the path to where bin/hbase is available
export HBASE_HOME=/apps/hbase-1.2.6

#Set the path to where bin/hive is available
export HIVE_HOME=/apps/hive-1.2.1

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/apps/zookeeper-3.4.10

2、解决办法
在/etc/profile中添加：
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*:$HIVE_CONF_DIR
记得source /etc/profile

在~/.bash_profile中添加：
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*:$HIVE_CONF_DIR
记得source ~/.bash_profile

mysql数据样例：

/*
 Navicat Premium Data Transfer

 Source Server         : localhost-mysql
 Source Server Type    : MySQL
 Source Server Version : 50722
 Source Host           : localhost:3306
 Source Schema         : hadoop_dw

 Target Server Type    : MySQL
 Target Server Version : 50722
 File Encoding         : 65001

 Date: 04/03/2019 09:24:33
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for sx_hospital
-- ----------------------------
DROP TABLE IF EXISTS `sx_hospital`;
CREATE TABLE `sx_hospital`  (
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `latlng` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `province` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `city` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `area` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  `address` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL,
  PRIMARY KEY (`latlng`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------
-- Records of sx_hospital
-- ----------------------------
INSERT INTO `sx_hospital` VALUES ('济民医院', '110.31956,34.646432', '山西省', '运城市', '芮城县', '风陵渡镇');
INSERT INTO `sx_hospital` VALUES ('蒲州医院', '110.335746,34.837638', '山西省', '运城市', '永济市', '山西省运城市永济市张风线蒲州镇中心卫生院');
INSERT INTO `sx_hospital` VALUES ('健民医院', '110.435347,34.886854', '山西省', '运城市', '永济市', '涑水西街283号');
INSERT INTO `sx_hospital` VALUES ('永济黄河中医院', '110.449017,34.896502', '山西省', '运城市', '永济市', '舜都大道');
INSERT INTO `sx_hospital` VALUES ('永济市忠愍医院', '110.450128,34.894908', '山西省', '运城市', '永济市', '山西省运城市永济市舜都大道');
INSERT INTO `sx_hospital` VALUES ('康宁医院', '110.455258,34.89246', '山西省', '运城市', '永济市', '828县道附近');
INSERT INTO `sx_hospital` VALUES ('永济市人民医院', '110.458271,34.868693', '山西省', '运城市', '永济市', '山西省运城市永济市银杏东街9号');
INSERT INTO `sx_hospital` VALUES ('万荣县第二人民医院', '110.554863,35.362433', '山西省', '运城市', '万荣县', '荣河镇');
INSERT INTO `sx_hospital` VALUES ('临猗县第二人民医院', '110.560605,35.10071', '山西省', '运城市', '临猗县', '临晋镇西街26号');
INSERT INTO `sx_hospital` VALUES ('山西省芮城县大王医院', '110.564027,34.693207', '山西省', '运城市', '芮城县', '山西省运城市芮城县新兴曹风线大王镇中心卫生院');
INSERT INTO `sx_hospital` VALUES ('万荣福祯医院', '110.566621,35.360069', '山西省', '运城市', '万荣县', '福祯创伤骨科医院附近');

SET FOREIGN_KEY_CHECKS = 1;

如果该表没有主键运行一个map执行导入Hive的命令（如果Hive中没有存在对应的hive表，则会依据mysql 的表来创建对应的表，字段属性也跟mysql的一致）

导入成功：

使用Sqoop实现Mysql到HDFS的数据导入
QYHuiiQ
05-11 3494
查看当前mysql下有哪些库 [root@hadoop01 ~]# sqoop list-databases --connect jdbc:mysql://hadoop03:3306 --username root --password 123456; 查看某个库下的所有表 [root@hadoop01 ~]# sqoop list-tables --connect jdbc:mysql://hadoop03:3306/hive --username root --password 12345.
Sqoop将MySQL数据导入到HDFS和Hive中
qq_43184146的博客
08-26 592
一、将数据从mysql导入 HDFS sqoop import --connect jdbc:mysql://192.168.76.1:3306/workflow --username root --password a --table project 报错 tool.ImportTool: Encountered IOException running import job: jav...
用sqoop将mysql数据导入到hdfs中
diannao720的博客
10-31 468
将mysql-connector的jar包复制至sqoop解压后的lib目录下 测试： sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123 导入： sqoop import --connect jdbc:mysql://IP_ADDRESS:3
使用sqoop将mysql数据导入到hdfs
静心
11-29 2407
一、安装测试前准备 1：安装集群：如下 2:sqoop版本和hadoop版本 3:mysql 连接器 和 测试数据 如下： 二、sqoop配置2.1、sqoop环境变量 2.1.1、修改sqoop_env.sh 2.1.2、修改configure-sqoo
Sqoop MySQL 导入到HDFS
热门推荐
小烁笔记
04-21 1万+
从MySQL数据库phx中读取tree表到HDFS执行命令：sqoop import --connect jdbc:mysql://node1:3306/phx \--username root --table tree --m 1命令行输出：Warning: /csh/link/sqoop/../hcatalog does not exist! HCatalog jobs will fail. P
sqoop从mysql导入hdfs_sqoop 从mysql导入数据到hdfs、hive
weixin_33755379的博客
02-11 357
1.上传sqoop安装包 2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://hadoop07:3306/test --username root --password 123 --table user_info...
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
10-20
MySQL作为Hive的元数据存储，需要安装MySQL服务器，创建Hive相关的数据库和表，并配置Hive连接MySQL的连接参数。 5. **Kafka**： Kafka是一个高吞吐量的分布式消息系统，常用于实时数据流处理。在Hadoop环境中，...
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
对于 Sqoop2，可以通过先将数据导入 HDFS，然后再使用 Load 或 Put 命令将数据加载到 Hive 或 HBase 中来解决。 - **Hive/HBase -> RDBMS**：两者均不支持直接转换，但可以通过以下步骤实现：先将数据从 Hive 或 ...
Sqoop学习笔记——关系数据库与hdfs间数据迁移
天亮了
08-03 5871
一、安装： 上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；   二、配置： 将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；   三、配置mysql远程连接 GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123
大数据开发中的Sqoop学习笔记(自己整理版).pdf
07-05
Sqoop是Apache Hadoop生态系统中的一款重要工具，主要负责在关系型数据库管理系统（如MySQL）和Hadoop的HDFS、Hive、HBase之间进行数据的迁移。自2009年成立以来，它从最初的Hadoop模块发展成为独立的Apache项目。...
Sqoop学习笔记
qq_43494013的博客
05-22 123
Sqoop学习笔记
使用sqoop从MySQL导入数据到hdfs
Chaim998的博客
10-13 1504
使用sqoop从MySQL导入数据到hdfs 1、代码解析： bin/sqoop import --connect jdbc:mysql://hadoop102:3306/ \【此处为换行符，必须是空格加\】 book【数据库名】 --username root --password 123 –table orders【表名】 –columns id,order_id,order_time \【所需的列名】 –where “order_id >= 1 and order_id<=20” \【所
Sqoop（3）—— Mysql数据导入HDFS
天青色等烟雨 而我在等你
03-21 584
Sqoop（3）—— Mysql数据导入HDFS官方文档Sqoop导入导出的官方文档：http://sqoop.apache.org/docs/1.4.7/index.htmlhttp://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html执行Sqoop的两种方式http://sqoop.apache.org/docs/1.4.7/SqoopUserGu...
Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
adr5970的博客
06-13 201
一、使用Sqoop将MySQL中的数据导入到HDFS/Hive/HBase 二、使用Sqoop将HDFS/Hive/HBase中的数据导出到MySQL 2.3HBase中的数据导出到mysql 眼下没有直接的命令将HBase中的数据导出到MySQL。但能够先将HBase中的数据导出到HDFS中。再将数据导出到MySQL。 三、使用Sq...
SQOOP从MySQL导入数据到HDFS
UniqueChunBlog
10-10 4681
一、Sqoop导入的参数是import 可以通过sqoop import –help查看import的具体用法 [root@hadoop001 conf]# sqoop import --help 参数太多就不列举了，大家可以自己去测试看看。 二、导入数据 1、执行以下命令 sqoop import –connect jdbc:mysql://hadoop001:3306/sqoo
第3节 sqoop：4、sqoop的数据导入之导入数据到hdfs和导入数据到hive表
dengmanzhou3124的博客
06-26 500
注意： （1）\001 是hive当中默认使用的分隔符，这个玩意儿是一个asc 码值，键盘上面打不出来 （2）linux中一行写不下，可以末尾加上 一些空格和 “ \ ”，换行继续写余下的命令： bin/sqoop import --connect jdbc:mysql://192.168.25.24:3306/userdb --username root --passwor...
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
你不来，再美的天地，都狼藉 ~
05-11 9555
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
大数据入门--Sqoop的安装与实践（mysql数据导入hdfs）
shine_du的博客
12-23 185
下载 官网 ： http://sqoop.apache.org/ 下载 ： sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压 tar -zxvf /home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 配置环境变量 vi /etc/profile export SQOOP_HOME=/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SQOOP_HOME/bin
使用Sqoop1将MySQL 导入数据到 HDFS
zjh_746140129的博客
12-11 3048
本篇文章主要介绍使用Sqoop1将MySQL 导入数据到 HDFS。 说明： 1、Sqoop 与数据库进行通信，获取数据库表的元数据信息  2、Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop 简要步骤： ①、mysql中创建数据库sqoop ②、创建表dept和emp表 ③、插入数据 ④、从mysql导出数据到HDFS ⑤...
sqoop导入mysql 数据到hdfs
06-28
### 回答1： sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。以下是将MySQL数据导入HDFS的步骤： 1. 首先，需要安装sqoop并配置好MySQL的连接信息。 2. 然后，使用以下命令将MySQL表导入HDFS： sqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --target-dir /myhdfsdir 其中，mydatabase是MySQL数据库名称，myuser和mypassword是MySQL登录用户名和密码，mytable是要导入的MySQL表名，/myhdfsdir是HDFS上的目标目录。 3. 执行命令后，sqoop将会自动创建一个HDFS目录，并将MySQL表的数据导入到该目录中。 4. 如果需要将MySQL表的数据导入到Hive中，可以使用以下命令： sqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --hive-import --hive-table myhivetable 其中，myhivetable是要创建的Hive表名。 5. 执行命令后，sqoop将会自动创建一个Hive表，并将MySQL表的数据导入到该表中。 以上就是使用sqoop将MySQL数据导入HDFS的步骤。 ### 回答2： Sqoop是Hadoop中非常实用的工具集之一，它的主要功能是在Hadoop中进行结构化的数据转移，它有两个核心组件：导入和导出。本文将讨论Sqoop如何将Mysql数据库中的数据导入到Hadoop的分布式文件系统（HDFS）中。 在开始Sqoop导入MySQL数据到HDFS之前，您需要确保已安装好Sqoop以及Hadoop集群和MySQL数据库。如果您没有安装，请首先安装这些工具。 以下是使用Sqoop导入MySQL数据到HDFS的步骤： 1.设置MySQL数据库用户和密码： 在导入数据之前，必须设置MySQL的用户名和密码。可使用以下命令创建一个授权用户： create user 'username'@'localhost' identified by 'password'; grant all privileges on *.* to 'username'@'localhost' with grant option; 2.运行Sqoop： 启动Sqoop的命令如下： sqoop-import --connect jdbc:mysql://localhost:3306/test --username username --password password --table tablename --target-dir /path/to/hdfs/directory -m 1 其中，--connect是指定数据库的连接URL，--username和--password是指定数据库的用户名和密码，--table是指定要导入的表名称，--target-dir是指定将数据导入到的HDFS目录，-m是指定使用的MapReduce任务的数量。 3.执行导入任务： 在运行Sqoop命令后，Sqoop将执行导入任务，并将MySQL数据库中的数据导入到HDFS目录中。您可以使用以下命令来查看导入的数据： hadoop fs -cat /path/to/hdfs/directory/part-m-00000 在本文中，我们介绍了如何使用Sqoop将MySQL数据库中的数据导入到HDFS中。Sqoop是Hadoop生态系统中非常实用的工具，可以帮助用户快速地从各种数据源中导入结构化数据，并将其转换为Hadoop所需的格式。无论您是在进行数据分析、数据挖掘还是其他用途，都可以使用Sqoop来实现您的需求。 ### 回答3： Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具，可以将关系型数据库中的数据导入到Hadoop分布式文件系统（HDFS）中或将HDFS中的数据导出到关系型数据库中。 对于将MySQL数据导入到HDFS中的流程，首先需要安装好Sqoop和MySQL数据库，并保证它们可以正常工作。接下来，可以按照下面的步骤进行操作： 1. 首先，需要创建一个导入任务，可以使用Sqoop Import语法来创建任务。例如，sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students -target-dir /user/hadoop/students可以将MySQL的students表中的数据导入到HDFS中的/user/hadoop/students目录中。 2. 在运行Sqoop之前，还需要确保在Hadoop集群中创建了目标目录。可以使用以下命令创建目录：hadoop fs -mkdir /user/hadoop/students。 3. 接下来，运行Sqoop命令以从MySQL数据库中提取数据并将其写入HDFS中的目标目录。在这个过程中，Sqoop会使用Java数据库连接（JDBC）来读取MySQL数据并将其转换为适合HDFS存储的格式。 4. Sqoop还可以支持将数据进行压缩并将其导入到HDFS中。根据需要，可以使用如下命令实现数据压缩：sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students --compression-codec org.apache.hadoop.io.compress.GzipCodec -m 1 --target-dir /user/hadoop/students/gzip。 5. 最后，可以使用HDFS命令hadoop fs -ls /user/hadoop/students来验证数据已经成功导入HDFS中。 总之，使用Sqoop将MySQL数据导入到HDFS中的过程比较简单，只需要遵循上述步骤即可。使用Sqoop可以大大简化数据传输的过程，并且支持许多可配置选项，以便根据数据的不同需要进行灵活的设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值