Sqoop将SQLServer数据导入HBase

最新推荐文章于 2025-05-27 20:27:05 发布

nma_123456

最新推荐文章于 2025-05-27 20:27:05 发布

阅读量4.8k

点赞数

CC 4.0 BY-SA版权

文章标签： sqoop sqlserver hbase

本文链接：https://blog.youkuaiyun.com/nma_123456/article/details/50524619

本文介绍了如何使用Sqoop在Cloudera Manager中设置服务，然后详细阐述了从SQLServer数据库导入数据到HBase的过程，包括下载jdbc驱动和SQLServer-Hadoop Connector，设置环境变量，以及解决在导入过程中遇到的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先在Cloudera Manager中添加Sqoop服务，然后进行如下操作：

jdbc的server驱动和SQLServer-hadoop connector包下载位置：http://download.youkuaiyun.com/detail/nma_123456/9405343

1、 Sqoop安装包中并不包含jdbc的SqlServer驱动，所以想在HDFS和SqlServer数据库之间导入导出数据，则需要先下载jdbc的SqlServer驱动。到http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=21599 上下载jdbc驱动1033\sqljdbc_3.0.1301.101_enu.tar.gz，解压，把sqljdbc4.jar包拷贝到Sqoop安装目录下的lib目录下

2、但是这个只是jdbc中SqlServer的驱动，它并不支持HDFS与SqlServer数据库之间数据的传输，还需要下载 SQL Server-Hadoop Connector。下载地址为http://www.microsoft.com/download/en/details.aspx?id=27584 ，解压得到sqoop-sqlserver-1.0目录，并在系统中添加环境变量MSSQL_CONNECTOR_HOME，让它指向sqoop-sqlserver-1.0目录

3、然后执行sqoop-sqlserver-1.0目录下的install.sh。这个命令会将连接的jar文件和配置文件拷贝的Sqoop目录中

4、导入到HBase

sqoop import  --connect 'jdbc:sqlserver://192.168.1.51;username=sa;password=123asd!@#;database=FJData' --table dataanalyse --hbase-table dataanalyse --column-family content --hbase-row-key ID

遇到的问题：

1、 Java Runtime Environment (JRE) version 1.7 is notsupported by this driver

在sqoop/lib下只需要将sqljdbc4.jar拷贝到文件夹下即可。

2、set $Accumulo_HOME to the root of your accumulo installation

注释掉：

sqoop/bin/configure-sqoop里面的Accumulo_HOME部分。