25、Hadoop 数据处理：从脚本测试到 Apache Crunch 实践

Hadoop 数据处理：从脚本测试到 Apache Crunch 实践

1. 脚本测试与 TF - IDF 计算

在数据处理过程中，我们可以通过命令行或 Hadoop 流来测试脚本。
- 命令行测试 ：

$ cat /tmp/tf-out.tsv  |  python map-df.py  | python reduce-df.py > /tmp/df-out.tsv

此命令将 /tmp/tf-out.tsv 文件的内容通过 map-df.py 和 reduce-df.py 脚本处理后，输出到 /tmp/df-out.tsv 文件。
- Hadoop 流测试 ：

/usr/bin/hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D map.output.key.field.separator=\t \
-D stream.num.map.output.key.fields=3 \
-D mapreduce.output.key.comparator.class=\
org.apache.hadoop.mapreduce.lib.KeyFieldBasedComparator \
-D mapred