Spark 总结2

Spark 总结2

网页访问时候 没有打开  

注意防火墙！ 

 

 

 

启动park shell

bin下面的spark-shell   这样启动的是单机版的

可以看到没有接入集群中：

 

应该这么玩儿  用park协议  spark：//192.168.94.132：7077     地址 协议

./spark-shell --mster  spark：//192.168.94.132：7077

必须指定启动资源！！

如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。总结的非常好！！！！！！

指定资源：

 

 

SparkContext (sc)

通向spark集群的一个入口   通过它来提交任务

 

posted @ 2017-09-15 22:10 toov5 阅读( ...) 评论( ...) 编辑 收藏