Scalding初探之一：基于Scala的Hadoop利器

最新推荐文章于 2025-09-06 21:58:22 发布

转载最新推荐文章于 2025-09-06 21:58:22 发布 · 187 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wei-li/p/ScaldingFirstSight.html

文章标签：

#scala #大数据

本文介绍使用Scala语言进行大数据处理的Scalding框架，通过示例程序展示如何利用Scalding简化MapReduce任务，同时提供了丰富的资源链接帮助读者深入学习。

把你从写繁琐的Map-reduce Job中解放出来，写分布式跟写本地程序没两样，Scala真真代表着先进生产力的方向啊。

好的，今天开始直播基于Scala的Scalding啦，循序渐进地看以下页面：

https://github.com/twitter/scalding#scalding

https://github.com/twitter/scalding/wiki/Getting-Started

https://github.com/willf/scalding_cookbook

看到scalding-cookbook的时候，可以开始尝试写比Word Count更酷的Scalding程序了

 1 import com.twitter.scalding._  2
 3 // input (tsv)  4 // 0 1 2 3 4 5 6  5 // 22 kinds of love nn2 io nn1  6 // 12 large green eyes jj jj nn2  7 //
 8 // output (tsv)  9 // 22 of kinds/nn2_love/nn1 10 // 12 green large/jj_eyes/nn2
11
12 class contextCountJob(args : Args) extends Job(args) { 13   val inSchema = ('count, 'w1 ,'w2, 'w3, 'pos1, 'pos2, 'pos3)
14   val outSchema = ('count, 'word, 'context)
15   Tsv(args("input"),inSchema) 16     .mapTo(inSchema -> outSchema) { 17       parts : (String, String, String, String, String, String, String) => { 18         val (count, w1, w2, w3, pos1, pos2, pos3) = parts 19         val context = "%s/%s_%s/%s".format(w1,pos1,w3,pos3) 20  (count, w2, context) 21  } 22  } 23   .write(Tsv(args("output"))) 24 }