
大数据和分布式
ylf13
这个作者很懒,什么都没留下…
展开
-
Spark入门教程
这篇文章是翻译http://spark.apache.org/docs/latest/programming-guide.html官方的指导手册 转载注明:ylf13@元子 一、Overview概述 在spark应用程序中,有一个Driver Program(驱动程序)来执行用户定义的main函数,并且在集群上执行各种并行操作。Spark主要提供的抽象层是RDD(resilient翻译 2015-03-28 20:25:51 · 2789 阅读 · 0 评论 -
hadoop的MR如何实现动态替换算法包
最近是用hadoop遇到些需求,要想抽离出reduce里面的某个算法包,从而能够动态改动算法 (1)如何动态调用抽离出的算法包Jar 这里就涉及到URLClassLoader的东西 loader = new URLClassLoader(new URL[]{ new URL(jarFile) }, Thread.currentThread().getContext原创 2015-08-12 18:12:32 · 882 阅读 · 0 评论