sqoop数据迁移（02）——sqoop安装

最新推荐文章于 2024-04-20 00:25:20 发布
最新推荐文章于 2024-04-20 00:25:20 发布
阅读量193 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop辅助系统 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Fenggms/article/details/82940740
本文详细介绍如何在已具备Java和Hadoop环境的基础上安装SQOOP，包括下载、解压、配置环境变量及添加依赖包等步骤，确保SQOOP能够正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

安装sqoop的前提是具备java和hadoop的环境。

下载并解压

下载地址
http://archive.cloudera.com/cdh5/cdh/5/
sqoop1版本详细下载地址
http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz
sqoop2版本详细下载地址
http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0.tar.gz

我使用的sqoop1的版本，下载之后上传到指定的安装包目录，然后进行解压

tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C /export/servers/

修改配置文件

cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0

加入额外的依赖包

sqoop的使用需要添加两个额外的依赖包，一个是mysql的驱动包，一个是java-json的的依赖包，不然会报错.

mysql-connector-java-5.1.40.jar
java-json.jar

可以直接在maven仓库中下载，将这个两个jar包添加到sqoop的lib目录下。

验证启动

cd /export/servers/sqoop-1.4.6-cdh5.14.0

bin/sqoop-version
大数据技术之Hadoop(十)——Sqoop数据迁移
weixin_63507910的博客
01-21 1829
Sqoop 是 Apache 旗下的一款开源工具，该项目开始于2009年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速迭代开发，在2013年，独立成为 Apache 的一个顶级开源项目。Sqoop 主要用于在 Hadoop 和关系数据库或大型机器之间传输数据，可以使用 Sqoop 工具将数据从关系数据库管理系统导入到 Hadoop 分布式文件系统中，或者将 Hadoop 中的数据转换导出到关系数据库管理系统。
Sqoop学习笔记——关系数据库与hdfs间数据迁移
天亮了
08-03 5873
一、安装： 上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；   二、配置： 将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；   三、配置mysql远程连接 GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123
sqoop的简单使用
day_ue的博客
04-19 174
sqoop简介 sqoop是apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具 工作机制 将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 安装 下载=================》解压========================》修改配置文件 cp sqoop...
Sqoop数据迁移工具
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-23 246
一、概述     sqoop 是 apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。     导入数据： MySQL， Oracle 导入数据到 Hadoop 的 HDFS、 HIVE、 HBASE 等数据存储系统；     导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等     Sqoop 的本质还是一个命令行工具，和 HDFS， ...
第3节 sqoop：2、sqoop的基本简介和安装
dengmanzhou3124的博客
06-25 145
3. sqoop数据迁移 3.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 3.2、sqoop1与sqoop2架构对比 sqoop1架构 ...
大数据-sqoop数据迁移
逍遥云恋
12-26 672
4. sqoop数据迁移 4.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系 统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 4.2 sqoop1与sqoop2架构对比 sqoop1架构 sqoop2架构 4.3 ...
数据迁移工具——Sqoop
qq_43408367的博客
09-26 819
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库（mysql、postgresql等）间进行数据的传递。Sqoop可以将关系型数据库（MySQL ,Oracle,Postgres等）中的数据导入到HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop将导入或导出命令转换为 MapReduce 程序来实现。翻译出的 MapReduce 中主要是对 inputformat 和outputformat 进行定制。
【Hadoop大数据技术】——Sqoop数据迁移（学习笔记）
HinsCoder的博客
04-20 2760
在实际开发中，有时候需要将HDFS或Hive上的数据导出到传统关系型数据库中（如MySQL、Oracle等），或者将传统关系型数据库中的数据导入到HDFS或Hive上，如果通过人工手动进行数据迁移的话，就会显得非常麻烦。为此，可使用Apache提供的Sqoop工具进行数据迁移。
sqoop数据库迁移工具——实操
认知 行动 坚持
06-28 484
sqoop实操：数据迁移工具sqoop主要用于hadoop(Hive)与传统数据库mysql间进行数据的迁移
sqoop数据迁移（03）——sqoop数据导入
Fenggms的博客
10-04 508
导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据） 列举出所有的数据库 命令行查看帮助 bin/sqoop list-databases --help 列出本机（我这里直接安装在了node03，node03上有mysql数据库）主机所有的数据库 bin/sqoop list-databases ...
sqoop数据迁移（04）——sqoop数据导出
Fenggms的博客
10-04 257
sqoop的数据导出是指将数据从HDFS把文件导出到RDBMS数据库。 导出前，目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中。 更新模式下，是生成UPDATE语句更新表数据。 hdfs导出到mysql 数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下：（拿人家的数据啦） 1201,gopal,manager,50000,TP,2018-0...
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具，它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...
大数据环境搭建———>Sqoop安装与配置
08-03
总结来说，Sqoop是一个在传统关系型数据库和Hadoop之间迁移数据的实用工具，特别适用于大数据环境的搭建和管理。安装Sqoop需要预先搭建Java环境和Hadoop环境，其安装过程涉及下载、解压、配置驱动和环境变量设置等...
oozie——hue整合oozie
Fenggms的博客
10-05 3359
停止oozie与hue的进程 通过命令停止oozie与hue的进程，准备修改oozie与hue的配置文件 修改oozie的配置文件 （老版本的bug，新版本已经不需要了） 修改oozie的配置文件oozie-site.xml <property> <name>oozie.service.WorkflowAppService.system.libpath</na...
sqoop jdbc连接mysql时接多个参数报错 --username: 未找到命令解决
Fenggms的博客
11-26 2548
由于我需要设置tinyInt1isBit=false来解决tinyint(1)变成Boolean类型的问题，使用了如下代码： sqoop import-all-tables --connect jdbc:mysql://192.168.1.100:3306/behivour_log?tinyInt1isBit=false&characterEncoding=utf8 --username...
sqoop从mysql导入数据到hive时tinyint(1)格式自动变成Boolean解决方案
Fenggms的博客
11-26 2198
首先，来一段官网原文： 27.2.5. MySQL: Import of TINYINT(1) from MySQL behaves strangely Problem: Sqoop is treating TINYINT(1) columns as booleans, which is for example causing issues with HIVE import. This is be...
impala（04）——impala的使用
Fenggms的博客
10-05 1623
impala的使用，首先通过impala-shell进入到impala的交互窗口 数据库操作 查看所有数据库 show databases; 创建与删除数据库 CREATE DATABASE IF NOT EXISTS mydb1; drop database if exists mydb; 创建数据库表并指定数据库表数据存放hdfs的位置（与hive建表语法类似） hdfs dfs -m...
impala（05）——impala的java开发
Fenggms的博客
10-05 1577
遵循java开发的一般套路，先导入jar包，来实现通过java代码来进行操作impala的查询。 导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.c...
sqoop数据导入
最新发布
03-13
### 使用 Sqoop 进行数据导入操作 #### 工具介绍 在大数据处理领域，Sqoop 是一个用于高效传输批量数据至 Hadoop 生态系统的工具。它支持从关系型数据库管理系统(RDBMS) 如 MySQL, Oracle 等向 Hive 或者 HDFS 导入数据[^1]。 #### 数据导入命令结构 为了执行一次简单的全量导入操作，可以采用如下基本语法： ```bash sqoop import \ --connect jdbc-url \ --username user-name \ --password password \ --table table-name \ --target-dir hdfs-target-directory \ --fields-terminated-by delimiter-character ``` 此命令会连接到指定的 JDBC URL 的 RDBMS 中读取 `table-name` 表的数据，并将其存储于给定的目标目录下(`hdfs-target-directory`) ，字段间通过设定好的分隔符(delimiter-character)来区分[^2]。 #### 增量导入模式 对于已经存在部分历史记录的情况下的新数据追加需求，则可以通过设置增量加载参数实现。这通常涉及到两个选项：一个是基于时间戳列的变化(`lastmodified`)；另一个则是依据主键自增(`append`)的方式来进行更新后的数据同步[^3]: ```bash # 时间戳方式(假设有一个名为update_time的时间戳字段) sqoop import ... --incremental lastmodified --check-column update_time ... # 自增值方式 sqoop import ... --incremental append --check-column id ... ``` #### 实际案例演示 考虑这样一个场景——将本地 MySQL 数据库里的某个表格内容迁移到远程集群内的 HDFS 文件系统上: ```bash sqoop import \ --connect "jdbc:mysql://localhost/mydb?useSSL=false&serverTimezone=UTC" \ --username root \ --password secret \ --table employees \ --target-dir /user/hive/warehouse/mysql_imported_employees \ --fields-terminated-by '\t' \ --lines-terminated-by '\n' ``` 以上指令将会把位于 localhost 上运行着的服务端口默认配置 (3306) 下面名称为 'mydb' 的数据库里边叫做 'employees' 的那张表里面所有的行都转移到由 `/user/hive/warehouse/mysql_imported_employees` 所指向的位置去保存起来.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值