spark
文章平均质量分 79
Binder?
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
使用IDE(eclipse,idea)开发spark程序
1.使用spark-shell编写程序:启动spark-shellbin/spark-shell --master local[4] --jars testcode.jar[4]表示在4个cpu核上运行,--jars指明需要的jar包路径 加载text文件scala> val textFile = sc.textFile("file:///data/原创 2016-11-12 08:50:01 · 1559 阅读 · 0 评论 -
Spark部署与程序运行示例
Spark部署1. Local模式部署:1) 安装java,配置环境变量2) 主节点配置cd $SPARK_HOME/confcp spark-env.template spark-env.shvim spark-env.sh export SPARK_MASTER_IP=your_master_ip;原创 2016-11-12 08:47:07 · 1145 阅读 · 1 评论
分享