
spark
wowdd1
这个作者很懒,什么都没留下…
展开
-
Spark任务调度
1.SparkSubmit 提交应用 2.调用Client来RequestSubmitDriver 3.Master launchDriver 4.DriverRunner 在work上启动 5.DriverRunner运行DriverWrapper 6.DriverWrapper 在work上启动 7.DriverWrapper运行提交的应用的main方法 8.SparkConte原创 2014-12-26 14:59:08 · 983 阅读 · 0 评论 -
用docker搭建spark集群
最近在学习spark, 有了docker搭建集群太方便了 安装好docker之后,在vbox里面做一个共享目录, 方便虚拟机从host拷贝文件 运行docker, 接着运行boot2docker ssh 这样就进到虚拟机里面了, 因为需要用到github上的脚本, 可以拷贝你的ssh文件到虚拟机里面 cp /Users/zd/.ssh/id_* ~/.原创 2014-12-12 20:25:02 · 11223 阅读 · 1 评论