sqoop安装

最新推荐文章于 2024-10-21 15:52:05 发布

ww1982_0_0_0

最新推荐文章于 2024-10-21 15:52:05 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： sqoop HDFS

本文链接：https://blog.youkuaiyun.com/ww1982_0_0_0/article/details/9167361

hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了如何安装和配置 Sqoop 1.4.3 版本，包括下载安装包、解压、补充必要的 jar 包、配置 JDBC 驱动等步骤，并提供了运行 sqoop 命令的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.下载sqoop安装包

http://www.bizdirusa.com/mirrors/apache/sqoop/1.4.3/

我下载的是sqoop单独的安装包sqoop-1.4.3.tar.gz。

2.解压安装包

tar -zxvf sqoop-1.4.3.tar.gz

3.补充jar包

安装包中没有sqoop-1.4.3.jar这个包，需要单独下载这个包。sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz此包中包含有sqoop-1.4.3.jar，可以下载这个包之后单独解压出sqoop-1.4.3.jar，把这个jar包放到sqoop的lib目录中$SQOOP_HOME/lib。

如果没有此包会报如下错误：

Could not find or load main classorg.apache.sqoop.Sqoop

4.去掉hbase的相关检查

编辑sqoop-1.4.3/bin/configure-sqoop注释掉73-77行的hbase检查，如果使用了hbase的话可以不用注释掉

 73 ## Moved to be a runtime check in sqoop.
 74 #if [ ! -d "${HBASE_HOME}" ];then
 75 # echo "Warning: $HBASE_HOME does not exist! HBase imports willfail."
 76 # echo 'Please set $HBASE_HOME to the root of your HBase installation.'
 77 #fi

5.配置jdbc驱动

以oracle为例，oracle的jdbc驱动按照官方文档http://sqoop.apache.org/docs/1.4.3/SqoopUserGuide.html#_oracle中的解释

JDBCDriver: OracleJDBC Thin Driver - Sqoop is compatible with ojdbc6.jar.

把下载好的jdbc驱动放到$SQOOP_HOME/lib目录中。

6.运行sqoop

[hadoop@node1 bin]$./sqoop help

Warning:$HADOOP_HOME is deprecated.
usage: sqoop COMMAND[ARGS]

Available commands:
  codegen            Generate code to interact withdatabase records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement anddisplay the results
  export             Export an HDFS directory to adatabase table
  help               List available commands
  import             Import a table from a database toHDFS
  import-all-tables  Import tables from a database to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incrementalimports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop helpCOMMAND' for information on a specific command.

[hadoop@node1 bin]$