15、使用Sqoop进行数据迁移：从MySQL到HDFS和Hive

使用Sqoop进行数据迁移：从MySQL到HDFS和Hive

在大数据处理中，数据迁移是一项常见且重要的任务。Sqoop作为一个强大的工具，可以帮助我们在关系型数据库和Hadoop生态系统（如HDFS和Hive）之间高效地迁移数据。本文将详细介绍如何使用Sqoop将数据从MySQL数据库导入到HDFS和Hive中。

1. 准备工作

在开始使用Sqoop之前，我们需要完成一些准备工作，包括检查数据库、安装Sqoop和MySQL连接器库。

1.1 检查数据库

首先，我们需要检查MySQL数据库中的表是否存在且可访问。可以使用以下命令登录到MySQL并获取表的行数：

mysql> select count(*) from sqoop.rawdata;
+-----------+
| count(*)  |
+-----------+
|   20031   |
+-----------+

这个结果表明 rawdata 表存在，并且包含20,031行数据，适合进行导入测试。

1.2 安装Sqoop

假设已经安装了Cloudera堆栈，我们可以使用 yum 命令以root用户身份在服务器 hc1nn 上安装Sqoop：

[root@hc1nn ~]# yum install sqoop

安装完成后，可以