mac环境安装和使用sqoop

最新推荐文章于 2021-06-26 11:56:42 发布

原创最新推荐文章于 2021-06-26 11:56:42 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

数据库同时被 2 个专栏收录

10 篇文章

订阅专栏

大数据

8 篇文章

订阅专栏

本文介绍了在Mac环境中安装和配置Sqoop的步骤，包括遇到的问题及解决方案。在测试阶段，文章详细讨论了两个常见问题：1. Hadoop单机模式下因找不到执行目录引发的ClassNotFoundException，通过切换到伪分布模式解决；2. Sqoop导入时由于MySQL表缺少主键导致的错误，建议为表添加主键或使用-m 1参数进行顺序导入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 安装和配置

brew install sqoop 
sqoop version

cd /usr/local/Cellar/sqoop/1.4.6/libexec/conf
cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh

    export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0.0/libexec"
    export HBASE_HOME="/usr/local/Cellar/hbase/1.2.6"
    export HIVE_HOME="/usr/local/Cellar/hive/2.3.1"
    export ZOOCFGDIR="/usr/local/Cellar/zookeeper/3.4.10/"

curl -L 'http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.42.tar.gz/from/http://mysql.he.net/' | tar xz
cp mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar /usr/local/Cellar/sqoop/1.4.6/libexec/lib/

2. 测试

sqoop list-tables --connect jdbc:mysql://localhost/test --username root --password mima123456

sqoop eval --connect jdbc:mysql://localhost/test --username root --password mima123456 --query "select * from test.test_table"

3. 遇到的问题

问题1
- java.lang.Exception: java.lang.RuntimeException:java.lang.ClassNotFoundException: Class example not found
- 原因和解决方法：hadoop 单机模式下无法找到执行目录，切换到伪分布模式可以解决
问题2
- No primary key could be found for table test_table. Please specify one with –split-by or perform a sequential import with ‘-m 1’.
- 原因和解决方法：sqoop导入时依赖于MySQL原表的主键索引进行切片，没有添加主键索引会报错，给原表加上 primary key 或者在命令行末尾加上 -m 1

4. 导入实例

# 创建mysql表
CREATE TABLE `example` (
  `id` int(11) NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

# 插入数据
mysql> select * from example;
+----+-------+
| id | name  |
+----+-------+
|  1 | hello |
|  2 | world |
+----+-------+
2 rows in set (0.00 sec)

# 创建 hive 表
create table example(id int, name string) row format delimited fields terminated by '\t' lines terminated by '\n';

# 将mysql表导入hadoop
sqoop import -connect jdbc:mysql://localhost/test --username root --password mima123456 --table example

# 将生成的文件导入hive
load data inpath 'hdfs://localhost:9000/user/max/example/part-m-00000' into table example

# 以上两步可以合并为一步完成
sqoop import --connect jdbc:mysql://localhost/test --username root --password mima123456 --table example --hive-import --hive-overwrite --hive-table example --fields-terminated-by '\t'