本文介绍如何将Spark与Alluxio通过spark-alluxio-blockstorage项目进行集成的方法。主要内容包括下载源码、打包成jar、配置Spark环境及简单测试步骤。
第一步：到下面链接网址下载spark-alluxio-blockstorage工程
https://github.com/winse/spark-alluxio-blockstorage
第二步：把下载的工程打包成jar包
从empty打包
从加号中添加来自于下面二种地方的jar包
添加之后重新命名
选择Bulid->spark-alluxio-blockstore->bulid
找到编译好的Jar包
把此包放到/spark/lib目录下
在spark/conf/spark-defaults.conf中配置以下信息
测试：首先alluxio中需要上传README.txt文件，再运行以下命令
发现多了一个文件
按ctrl+c退出spark-shell
此时，spark in memory data中的数据随即删除。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
