mapreduce编程(一）：输入文件的过滤

    

描述：dir/目录下存储了系统每一天的出现的cookie，各天的cookie分别存放在各自的dir/time目录下，如2012-12-21日的cookie存放在dir/2012-12-21目录下。

    dir/2012-12-21下的各个文件存储的是出现的cookie，一个cookie的多次出现会记录多次（也就是有重复），dir/2012-12-21下的文件名为prefix-tag-suffix的格式。其中tag可视为一个项目的标记，如不同tag即与不同项目相关。

    问题：某一天属于项目A的唯一cookie数是多少？(唯一cookie指去重）

   

    问题在不考虑区分项目的情况下，则只要以cookie为key聚集去重，然后算出去重后的cookie的量即可。

    在区分项目的情况下，项目要根据文件名字来区分，此时就要把文件名不符合条件的过滤掉。

    这时候可以使用PathFilter，使用自定义的PathFilter过滤掉不符合要求的文件.