25、Hadoop数据处理：从脚本测试到Crunch框架应用

Hadoop数据处理：从脚本测试到Crunch框架应用

1. 脚本测试与TF - IDF计算

1.1 脚本测试

可以通过命令行和Hadoop流两种方式对脚本进行测试：
- 命令行测试 ：

$ cat /tmp/tf-out.tsv  |  python map-df.py  | python reduce-df.py > /tmp/df-out.tsv

• Hadoop流测试 ：

/usr/bin/hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D map.output.key.field.separator=\t \
-D stream.num.map.output.key.fields=3 \
-D mapreduce.output.key.comparator.class=\
org.apache.hadoop.mapreduce.lib.KeyFieldBasedComparator \
-D mapreduce.text.key.comparator.options=-k1 \
-input /tmp/tf-out.tsv/part-00000 \
-output /tmp/df-out.tsv \
-mapper org.apache.hadoop.mapred.l