Sqoop导入mysql数据到HDFS

最新推荐文章于 2025-05-29 08:42:27 发布
最新推荐文章于 2025-05-29 08:42:27 发布
阅读量2.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： sqoop java 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jbiao5201314/article/details/81590393
本文介绍了如何使用Sqoop将大约900万条MySQL数据导入到HDFS，包括安装Sqoop，配置Hadoop的conf目录，添加MySQL connector，启动Sqoop，通过Sqoop shell创建source、sink链接及job，并执行任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sqoop导入mysql数据到HDFS

打算把mysql中爬虫爬到的数据导入到HDFS中供后续学习kylin以及研究使用，以前导数据经常会自己写一段java脚本去导入，这次打算用sqoop试一试效果

首先看了下mysql的数据量，不到900万条数据，不多不少

从官网下载好sqoop进行安装

http://sqoop.apache.org/docs/1.99.7/admin/Installation.html
中间也经历了一点波折，一个是hadoop的conf文件目录要配置正确
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/apps/hadoop-2.7.7/etc/hadoop
将mysql connector jar包丢到/apps/sqoop-1.99.7-bin-hadoop200/server/lib目录

启动sqoop
root@hadoop:/apps/sqoop-1.99.7-bin-hadoop200/bin# ./sqoop2-server start
Setting conf dir: /apps/sqoop-1.99.7-bin-hadoop200/bin/../conf
Sqoop home directory: /apps/sqoop-1.99.7-bin-hadoop200
Starting the Sqoop2 server...
最低0.47元/天 解锁文章

200万优质内容无限畅学
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql
我玩的很开心的博客
07-23 2351
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop job任务 一、Sqoop概述 Sqoop是什么？ Sqoop是一个用
利用sqoop将MySQL数据导入HDFS、Hive、HBase
qq_71375720的博客
07-13 1034
此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。
sqoop导入数据到hdfs路径
11-08
sqoop导入数据到hdfs，所有相关的操作命令均在更改相关地址就行。
利用Sqoop将数据从数据库导入到HDFS
轻轻草原
09-21 247
基本使用 如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralceT...
任务16：使用Sqoop将Hive结果数据导入到MySQL
最新发布
bangbinbing的博客
05-29 1167
任务描述任务指导Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。本次任务的内容为使用Sqoop实现数据从MySQL 到HDFS的导入、导出。
sqoop 从mysql导入数据到HDFS
weixin_30530939的博客
09-04 353
1.准备sqoop和hdfs环境 （暂略） 2.新建配置文件option import --connect jdbc:mysql://{MYSQL_HOST}:3306/ingestion_db1?serverTimezone=UTC&rewriteBatchedStatements=true --username root --password 12345...
Sqoop导入数据到hdfs
lynne233
08-17 2168
从Postgre导入数据到hdfs需要是用Sqoop。Sqoop是一个开源的工具，能将数据表从关系数据库导入HDFS或Hive上。 安装Sqoop配置好环境，执行命令： sqoop import --connect jdbc:postgresql://1.1.1.1:5432/lrs --username user --password psswd --table table_statemen
sqoop导入mysql 数据到hdfs
06-28
3. 执行命令后，sqoop将会自动创建一个HDFS目录，并将MySQL表的数据导入到该目录中。 4. 如果需要将MySQL表的数据导入到Hive中，可以使用以下命令： sqoop import --connect jdbc:mysql://localhost:3306/...
Sqoop从mysql导入数据至HDFS操作（sqoop初级）
热门推荐
little prince，blue coder
07-22 1万+
  后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家直观感受下在生产环境中这些组件是如何配套使用的。由于Sqoop比较独立，所以它的实践还是单独拿出来在本篇博文中讲解好了。   MySQL端操作（待导出的数据库） 1、创建用于导出数据用户并赋予权限。 以root用户登...
sqoop从mysql数据库导入数据到hdfs中
10-16 294
从mysql数据库导入数据到hdfs 一般导入 sqoop import --connect jdbc:mysql://172.17.199.14:3306/ -username bank -password bank --table tt 追加导入 sqoop import --connect jdbc:mysql://172.17.199.14:3306/ -username ba
Sqoop导入数据到HDFS的一些常用设置
while false
07-16 2353
    *只导入表中数据的某些列 bin/sqoop import \ --connect jdbc:mysql://192.168.83.112:3306/test \ --username root \ --password root  \ --table student \ --target-dir /user/root/sqoop/import/student \ --num-mapp...
Talend学习笔记2——mysql文件导入到HDFS
06-01
Talend学习笔记2——mysql文件导入到HDFS
sqoop从mysql导入hdfs_3.使用sqoop从mysql 导入数据到hdfs
weixin_39648539的博客
01-30 158
使用sqoop从mysql 导入数据到hdfs注意：需要将mysql的jdbc驱动包放到lib目录下在conf目录中，执行cp sqoop-env-template.sh sqoop-env.sh#修改 ~/.bashrc，增加export HADOOP_CLASSPATH=/opt/hadoop-2.6.0-cdh5.13.0/lib:/$HIVE_HOME/lib/*source ~/.bas...
Sqoop 从mysql导入数据表到hdfs
qq_38427979的博客
05-26 261
错误报告 又名踩坑之旅。。。 sqoop import -m 1 --connect jdbc:mysql://192.168.16.1:3306/mysql --username root --password 123 --table db --target-dir /usr/lib/hadoop/plugins_by_belinda/sqoop/input/ 报错： 19/06/12 21...
sqoop HDFS 导入 mysql
guohan的博客
02-17 1081
一、hdfs导入mysql 注意：在mysql导入hive时可以自动创建表，而hdfs导入mysql时则不能在mysql中自动创建表，因此导入前准备工作，在mysql中建议需要导入的表！ 1、最简单的导入 准备工作：在mysql中建表 create table emp_import (id int,name varchar(45),age int); hdfs中/emp_db下存...
hdfs数据导入mysql_使用MapReduce将HDFS数据导入Mysql
weixin_28585773的博客
01-27 395
package com.zhen.mysqlToHDFS;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;impo...
思考：数据量不大时，如何将HDFS上的数据导入到Mysql中
qq_43193797的博客
06-06 871
公司代码： outputDir=/data/jobfile/dsp-etl/data #直接将是查询后的数据保存到linux某个文件上 function calculateflow() { local data_date=$1 hive -S -e " set mapreduce.job.queuename=root.etl; SELECT t1.channel AS channel ...
读取HDFS数据写入MySQL_大数据培训
zjjcchina的博客
12-07 926
读取HDFS数据写入MySQL1）将上个案例上传的文件改名[atguigu@hadoop102 datax]$ hadoop fs -mv /student.txt* /student.txt2）查看官方模板[atguigu@hadoop102 datax]$ python bin/datax.py -r hdfsreader -w mysqlwriter{ “job”: { “content”: [ { “reader”: {
使用sqoop将mysql数据导入到hdfs
静心
11-29 2409
一、安装测试前准备 1：安装集群：如下 2:sqoop版本和hadoop版本 3:mysql 连接器 和 测试数据 如下： 二、sqoop配置2.1、sqoop环境变量 2.1.1、修改sqoop_env.sh 2.1.2、修改configure-sqoo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值