
Spark Core
文章平均质量分 72
sun_qiangwei
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
"Spark 1.6 + Alluxio 1.2 HA + OFF_HEAP" 的配置
1、到 https://github.com/winse/spark-alluxio-blockstorage 下载 AlluxioBlockManager.scala 文件,并进行编译打包为 spark-alluxio-blockstore.jar2、将alluxio-core-client-spark-1.2.0-jar-with-dependencies.jar、 spark-all原创 2016-08-20 18:54:47 · 1202 阅读 · 2 评论 -
"Spark 1.6 + Alluxio 1.2 + OFF_HEAP" 的配置
我们知道,Spark + Tachyon 可以解决 Spark 在使用过程中的一些问题,可以总结为 数据共享 和 GC 等问题。 但是呢,Tachyon 在今年已经更名为 Alluxio,并且其访问schema也从tachyon修改为alluxio;Spark 1.6 的版本也在维护中;可是,到目前为止,Spark还没有将之前的 Tachyon 的协议修改为 Alluxio 的协议,因此 Allu原创 2016-08-16 00:23:13 · 610 阅读 · 0 评论