前言
最近在使用Sqoop2从Mysql,Oracle, SqlServer导入数据到HDFS,Mysql和Oracle的导入还比较简单,但是SqlServer导入过程中遇到了几个小问题,跟大家分享下,希望对遇到类似问题的朋友有点小帮助:
Sqoop2创建Link
关于Sqoop2与Sqoop1的区别,安装与部署,可以点击这里看看这篇文章,这位大牛写的非常详细。要使用sqoop2,首先要创建Link,每个数据库的link不一样,如下是各个数据库的link:
mysql-link

oracle-link

sqlserver-link

注意:创建sqlserver-link,需要外部引入驱动包,还与sqlserver版本有关,我的是2014年的,所以引入sqljdbc4.jar,若果你的sqlserve是2005,那就引入sqljdbc.jar,下载后放到sqoop2对于的包路径下:

Sqoop2创建Job
mysql-job

oracle-job

sqlserver-job

创建sqlserver-job时,需要选择dbo,压缩方式要选择GZIP,如果选择默认,会是.deflate结尾的文件。导入到HDFS上时,是以.GZIP为后缀名结尾,Hive能自动识别解压到对应的表中。
本人刚刚接触Sqoop2,若有不对的地方,还希望大家多多指教!
本文分享了使用Sqoop2从SQL Server导入数据到HDFS的经验,包括创建Link和Job的过程,以及解决遇到的问题。
1182

被折叠的 条评论
为什么被折叠?



