23、利用Sqoop实现数据在Hadoop中的高效迁移

利用Sqoop实现数据在Hadoop中的高效迁移

1. 数据迁移概述

在数据处理过程中，将数据迁入和迁出Hadoop是一项重要任务。此前已经探讨了推送日志文件、从常规文件系统推送文件以及从Web服务器拉取文件等数据导入方式。而大多数组织的关键数据存储在OLTP数据库中，因此如何访问和迁移这些关系型数据成为了接下来要解决的问题。

1.1 Oozie任务状态与操作

Oozie协调器可提供类似cron的功能来定期启动Oozie工作流，还能根据数据可用性触发工作流。当Oozie作业运行时，其整体状态为“RUNNING”，表示作业正在等待下一个间隔的到来。作业完成后，状态将转变为“SUCCEEDED”。可以通过以下命令确认HDFS中是否存在与物化日期对应的输出目录：

$ hadoop fs -lsr http-download/output

若要停止作业，可使用 -suspend 选项：

$ oozie job -suspend 0000006-140124164013396-oozie-ahol-C

此外，Oozie还支持使用 -resume 和 -kill 选项分别恢复暂停的作业和终止工作流。

1.2 数据导入机制

在数据导入方面，有三种自动化机制可供使用：
- Flume