mapreduce编程(一）：输入文件的过滤

    

描述：dir/目录下存储了系统每一天的出现的cookie，各天的cookie分别存放在各自的dir/time目录下，如2012-12-21日的cookie存放在dir/2012-12-21目录下。

    dir/2012-12-21下的各个文件存储的是出现的cookie，一个cookie的多次出现会记录多次（也就是有重复），dir/2012-12-21下的文件名为prefix-tag-suffix的格式。其中tag可视为一个项目的标记，如不同tag即与不同项目相关。

    问题：某一天属于项目A的唯一cookie数是多少？(唯一cookie指去重）

   

    问题在不考虑区分项目的情况下，则只要以cookie为key聚集去重，然后算出去重后的cookie的量即可。

    在区分项目的情况下，项目要根据文件名字来区分，此时就要把文件名不符合条件的过滤掉。

    这时候可以使用PathFilter，使用自定义的PathFilter过滤掉不符合要求的文件.

    

    在mapreduce job中设置：

       

FileInputFormat.setInputPathFilter(job, CookieFilter.class);

     

    CookieFilter的实现：

public class CookieFilter implements PathFilter{

	@Override
	public boolean accept(Path path) {

		if (StringUtils.split(path.getName(), StringUtils.ESCAPE_CHAR, '-')[1].equals("A") {
			return true;
		}
		return false;
	}
}

然后根据cookie去重计数即可。