Mapreduce中使用多线程的问题

在项目中遇到了Mapreduce使用多线程的问题，在此记录、讨论一下。

需实现流程是读取关键词文件中的关键词，根据关键词搜索图片，爬取相关的图片的地址，开启线程下载、转换图片。每个关键词开启一个maptask，搜索获取多图片地址，开启多线程执行下载和转化过程，由于Mapreduce是多进程模式，执行多线程时各线程的执行状况无法控制，那么整个下载和转化过程就无法严格控制，无法获取完成map任务进入下一步reducer的时间，所以此处只适合开启完后不再去执行下一步，只等待图片下载完，就当作是此轮任务结束。