Sqoop

Sqoop在大数据数据迁移与处理中的应用

最新推荐文章于 2025-09-11 16:40:35 发布

weixin_30284355

最新推荐文章于 2025-09-11 16:40:35 发布

阅读量51

点赞数

CC 4.0 BY-SA版权

文章标签：大数据数据库

原文链接：http://www.cnblogs.com/jareny/p/10799677.html

本文围绕Sqoop展开，介绍其用于在Hadoop和关系数据库间高效传输批量数据。涵盖Flume数据采集、Sqoop数据迁移（如HDFS与MySQL间）、Azkaban任务调度等离线数据处理流程。还说明了Sqoop的安装部署步骤，以及import和export操作，包括数据导入导出命令和权限设置等。

sqoop
flume数据采集采集日志数据
sqoop数据迁移 hdfs->mysql
azkaban任务调度 flume->hdfs->shell->hive->sql->BI
sqoop数据迁移=mapreduce
处理离线数据
整个过程就是数据导入处理导出过程
直接使用map
sqoop作用：简化开发
mysql->hdfs
mapreduce
sqoop!
概述：
Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关
系数据库）之间高效传输批量数据。数据迁移！
Sqoop于2012年3月成功从孵化器毕业，现在是一个顶级Apache项目：更多信息
sqoop安装部署
1）下载
2）上传
3）解压
4）重命名
mv sqoop-env-template.sh sqoop-env.sh
5）添加配置信息
export HADOOP_COMMON_HOME=/root/hd/hadoop-2.8.4
export HADOOP_MAPRED_HOME=/root/hd/hadoop-2.8.4
export HIVE_HOME=/root/hd/hive
export ZOOCFGDIR=/root/hd/zookeeper-3.4.10/conf
6）启动查看版本号
bin/sqoop version
sqoop的import
import导入：mysql->hdfs
export导出：hdfs->mysql
mysql->hdfs操作：
1）导入mysql驱动到sqoop/lib下
2）命令操作
bin/sqoop import
--connect jdbc:mysql://hd-01:3306/sqoop
--username root
--password root
--table user
--target-dir /sqoop/datas
--num-mappers 1
--fields-terminated-by "\t"
注意：如果显示mysql的访问权限问题，需要设置mysql的用户权限：所在库 mysql库
的user表
update user set host='%' where host='localhost';
delete from user where Host='127.0.0.1';
delete from user where Host='hd-01';
delete from user where Host='::1';
flush privileges;
使用query对数据进行过滤：
bin/sqoop import
--connect jdbc:mysql://hd-01:3306/sqoop
--username root
--password root
--target-dir /sqoop/selectimport
--num-mappers 1
--fields-terminated-by "\t"
--query 'select * from user where id<=1 and $CONDITIONS'