
Java
文章平均质量分 57
snaillup
这个作者很懒,什么都没留下…
展开
-
Java多线程同步辅助类与异常处理简介
线程同步辅助类 在使用Java多线程时,经常需要进行多线程同步,我在写一个用于Hadoop的调度框架中就遇到了类似的问题,调度主线程在发起并行任务后,需要原地等待各子线程执行完毕,才能继续执行,我尝试了两种方法。 (1)CyclicBarrier 下面给出示例代码 调度线程 try{ List<MrJob> paralJobList = jobExeUnit.getMrjobList(原创 2016-12-30 14:48:30 · 816 阅读 · 0 评论 -
Hadoop二次排序
最近在特征开发的过程中,遇到这样的场景,A文件中存储着一些属性(例如文档的ctr),需要将这些属性set到B文件中的文档中,在Hadoop程序设计中,一般是在map中读入文件,然后输出以文档id为key,进入reduce后,先循环遍历value,找到A中的属性值,把B中的文档集记录在List中,然后再循环这个List,把A的属性值set进去,示例代码如下 mapper中 if(from()=="原创 2016-12-30 17:50:12 · 489 阅读 · 0 评论