CentOS7安装Sqoop2连接MySQL(Hadoop2.6,MySQL6.5,Sqoop1.99.6)

最新推荐文章于 2024-10-23 10:26:58 发布

a237428367

最新推荐文章于 2024-10-23 10:26:58 发布

阅读量3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： CentOS7 Sqoop2 Hadoop2.6 MySQL 安装

本文链接：https://blog.youkuaiyun.com/a237428367/article/details/50483409

这篇博客介绍了如何在CentOS7系统中安装Sqoop2并连接到Hadoop2.6和MySQL6.5。首先确保Hadoop环境配置正确，然后下载并安装Sqoop1.99.6版本，因为不同版本的Sqoop对应不同的Hadoop版本。接着，修改sqoop.properties文件，添加MySQL驱动，并启动Sqoop server。最后，创建链接并验证连接是否成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么强调1.99.6因为不同Sqoop版本对应不同的Hadoop版本.

1.Hadoop环境,参考:

http://blog.youkuaiyun.com/a237428367/article/details/50462858

2.MySQL,参考:

http://blog.youkuaiyun.com/a237428367/article/details/50481719

3.tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz 你懂的

mv sqoop-1.99.6-bin-hadoop200 sqoop-1.99.6 重命名一下因为好长

4.vi /hadoop/sqoop-1.99.6/server/conf/sqoop.properties 修改hadoop配置文件所属路径

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/hadoop/hadoop-2.6.3/etc/hadoop/

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

a237428367

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

CentOs7下sqoop的安装配置

qq_47947471的博客

09-11

306

1.首先需要准备有jdk,hive,hbase,zookeeper和hadoop环境配置完成的CentOs虚拟机 2.解压文件(sqoop-1.4.6-cdh5.14.2.tar.gz压缩包) # tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz 3.建立sqoop软连接 # mv sqoop-1.4.6-cdh5.14.2 /opt/soft/sqoop146 4.环境配置和搭建 (1)进入/opt/soft/sqoop146目录下将sqoop-env-te

Hive安装第二步：CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.7，sqoop1.4.7，Navicat连接hive，MySQL驱动jar包

NotFound_error的博客

01-14

1891

CentOS7安装jdk1.8.0，MySQL5.7，Hadoop2.10.1，Hive2.3.71.CentOS7中安装jdk1.8.02.CentOS7安装MySQL5.73. MySQL连接java，MySQL的驱动jar包下载4.CentOS7安装Hadoop2.10.14.1 hadoop-env.sh配置4.2 core-site.xml配置4.3 mapred-site.xml.template配置4.4 hdfs-site.xml配置4.5 修改环境配置4.6 初始化和启动dfs4.7运行W

参与评论您还未登录，请先登录后发表或查看评论

CentOS7 Sqoop 安装和使用

fangwei1234的博客

04-29

501

CentOS7 Sqoop 安装和使用一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。 sqoop：工具：本质就是迁移数据，

CentOS7安装Sqoop完整步骤

weixin_55076626的博客

04-07

1922

1.进入/opt cd /opt 2.解压sqoop安装包 tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz 3.将sqoop移动到soft/sqoop146下 mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146 4.进入soft/sqoop146/conf/ cd soft/sqoop146/conf/ 5.把sqoop-env-template.sh改成sqoop-env.sh cp sqoop-env-template.s

【大数据】CentOS7 安装 Sqoop

X10的博客

01-03

597

学习笔记：CentOS7 安装 Sqoop。

Sqoop2从Mysql导入Hdfs (hadoop-2.7.1,Sqoop 1.99.6)

weixin_33850015的博客

10-21

173

2019独角兽企业重金招聘Python工程师标准>>> ...

CentOS7中Sqoop安装与MySQL数据导入实践

安装Sqoop时，解压安装包后，需要将其添加到系统路径中，并配置相关的连接信息，如Hadoop的配置目录、MySQL的JDBC驱动等。这通常在`$SQOOP_HOME/conf/sqoop-site.xml`文件中完成。配置完成后，就可以使用Sqoop进行...

hadoop2.6+hive+oozie+sqoop+hue集群搭建

Chao_Qing的专栏

01-20

1453

hadoop集群搭建一、环境说明二、环境搭建1. Linux系统准备2. 安装jdk8并设置环境变量3. 安装mysql4. 安装hadoop5. 安装hive6. 安装sqoop7. 安装oozie8. 安装hue9. 结果展示10. 启动集群脚本一、环境说明我使用的是笔记本电脑，一台8G内存，一台4G内存，然后在笔记本上搭建虚拟机centos7.0当作搭建hadoop的机器，最终的结...

centos安装数据库同步工具sqoop并导入数据,导出数据,添加定时任务

wangwenzhe的博客

07-10

1565

解压示例。

CentOS7 安装 Sqoop

记录点点滴滴

03-11

643

CentOS7 安装 Sqoop下载并解压修改配置文件拷贝JDBC驱动验证Sqoop测试Sqoop是否能够成功连接数据库下载并解压下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 上传安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到 /opt/software 路径中解压 sqoop 安装包到指定目录 tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.

Centos7安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

weixin_34186931的博客

11-04

284

注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文： http://blog.csdn.net/pucao_cug/article/details/71698903 hive2.1.1的安装请参...

sqoop2创建mysql link_sqoop2 使用实例

weixin_39890652的博客

02-11

305

启动Client/usr/hadoop/sqoop-1.99.5-cdh5.5.1-bin-hadoop200/bin/sqoop.sh client为客户端配置服务器：set server --host node3--port 12000 --webapp sqoop 【红色部分为本机hostname 主机名和端口号】sqoop:000> set server --host node3-...

sqoop mysql 安装_Sqoop安装

weixin_29866423的博客

02-04

214

由于Sqoop是Hadoop的一个子项目，它只能工作在Linux操作系统。这里需要按照下面系统上给定安装Sqoop的步骤。第1步：验证JAVA安装在安装Sqoop之前，需要确定是否已经在系统上安装Java。用下面的命令来验证Java安装：$ java–version如果Java已经安装在系统上，应该能看到如下回应：java version"1.7.0_71"Java(TM)SERuntimeEnv...

Centos7安装sqoop1.4.7超详细教程

最新发布

轻舟已过万重山

10-23

1131

另外，在配置文件中还要根据需要自定义配置Hbase、Hive和Zookeeper等环境变量（例如本章后续将会使用到Hive，所以必须配置Hive的环境变量，而其他无关环境变量如果未配置，使用过程中可能会出现警告提示，但不影响其他操作）。需要说明的是，本文讲解的Hadoop是Apache社区版本，Hadoop重要的组件都是安装在一个安装包中，所以上述配置文件中配置的HADOOP_COMMON_HOME与HADOOP_MAPRED_HOME指定的Hadoop安装目录一致。sqoop-env.sh（原）

sqoop数据迁移（基于Hadoop和关系数据库服务器之间传送数据）

weixin_33854644的博客

12-15

380

1：sqoop的概述：（1）：sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。（2）：导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；（3）：导出数据：从Hadoop的文件系统中导出数据到关系数据库（4）：工作机制：　　将导入或导出命令翻译成mapreduce程序来实现；　　在翻译出的ma...

Centos7下安装与使用数据转换工具Sqoop

A_saying的博客

11-13

503

一、概述 Sqoop是一款开源工具，主要是用于在Hadoop或Hive与传统数据库（如：MySQL、Oracle等）进行数据传递，它可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。甚至可以使用Sqoop将数据从数据库中转移到Hbase中。二、Sqoop安装 1、下载与解压首先下载你需要的sqoop版本（http://archive.apache.org/dist中一般可以下载到你需要的关于大数据方面的组件）我这里使用的是 sqoop-1.4.6.

Centos7下Sqoop安装与配置

蔡政洁的博客

10-31

1182

目录Centos7下Sqoop安装与配置第一步：安装软件（1）上传文件（2）解压文件第二步：配置环境变量第三步：修改配置文件第四步：测试 Centos7下Sqoop安装与配置电脑系统：macOS 10.15.4 虚拟机软件：Parallels Desktop14 Hadoop各节点节点操作系统：CentOS 7 JDK版本：jdk1.8.0_162 Hadoop版本：hadoop-2.6.0-cdh5.9.3 sqoop版本：sqoop-1.4.6-cdh5.9.3 sqoop的下载地址： http:

CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

小方的博客

03-07

1403

找不到类，sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x。5）加入mysql的jdbc驱动包到sqoop的lib文件夹。解决版本问题即可，commons-lang版本改为2.x。2）按esc按钮后 :wq 保存并退出文件。4）看清楚自己的路径是啥，把以下加进去并更改。3）更改文件sqoop-env.sh。1）sqoop版本号查询。2）sqoop帮助查询。1）进去配置文件路径。

sqoop mysql 安装_Sqoop安装及验证_MySQL

weixin_30000407的博客

01-30

140

Sqoop安装及验证环境：系统Red Hatlinux 6.4Hadoop版本1.2.1Sqoop版本1.4.4Mysql数据库版本5.6.15通过Sqoop实现Mysql /Oracle与HDFS / Hbase互导数据http://www.linuxidc.com/Linux/2013-06/85817.htm[Hadoop] Sqoop安装过程详解http://www.linuxidc.co...