10、利用MapReduce处理数据：Pig与Hive的实践应用

利用MapReduce处理数据：Pig与Hive的实践应用

1. 运行Pig进行数据处理

Pig是一个强大的数据处理工具，它允许用户选择不同的工作模式，如本地模式和Map Reduce模式（默认），还能以交互模式或批处理模式运行任务。以下是使用Pig进行单词计数的详细步骤：
1. 准备工作
- 创建工作目录 ：在HDFS上创建Pig的工作目录，使用命令：

[hadoop@hc1nn edgar]$ hadoop dfs -mkdir /user/hadoop/pig/

- **复制数据文件**：将Edgar Allan Poe作品的文本数据文件从Linux文件系统复制到HDFS的工作目录中，使用命令：

[hadoop@hc1nn edgar]$ cd $HOME/edgar
[hadoop@hc1nn edgar]$ hadoop dfs -copyFromLocal ./10031.txt /user/hadoop/pig

- **检查文件**：使用以下命令检查文件是否成功复制到HDFS：

[hadoop@hc1nn edgar]$ hadoop dfs -ls /user/hadoop/pig