大数据学习之路55-sqoop安装及从mysql导入数据到hdfs，导入数据到hive示例

最新推荐文章于 2022-10-29 18:02:14 发布

未来@音律

最新推荐文章于 2022-10-29 18:02:14 发布

阅读量372

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据生态圈从入门到精通

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.youkuaiyun.com/qq_37050372/article/details/82148680

大数据生态圈从入门到精通专栏收录该内容

132 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何安装sqoop并详细阐述了如何将MySQL数据库的数据导入到HDFS以及直接导入到Hive。在安装过程中，解释了配置文件中的hadoop_common_home和hadoop_mapred_home的含义。内容还涵盖了sqoop导入数据时的切片策略，如split-by参数的使用，以及如何通过sqoop实现从HDFS到MySQL的导出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装sqoop步骤：

1.首先解压

2.修改配置文件

mv sqoop-env-template.sh sqoop-env.sh

那么配置文件中的hadoop_common_home和hadoop_mapred_home是什么意思呢？

sqoop是cdh公司贡献出来的，cdh就是hadoop的封装版本。

cdh安装的时候会把hadoop的库安装到不同的目录。不像我们都安装到一个目录。所以它配置的时候需要分开指定。

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/root/app/hadoop-2.8.4

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/root/app/hadoop-2.8.4

#set the path to where bin/hbase is available
export HBASE_HOME=/root/app/hbase-1.2.1

#Set the path to where bin/hive is available
export HIVE_HOME=/root/app/hive-1.2.1

#Set

了解本专栏