spark
关注
分享
扫一扫
文章平均质量分 51
Joy CR
欢迎关注我的公众号： 小秋的博客
https://blog.youkuaiyun.com/xiaoqiu_cr
https://github.com/crr121
https://segmentfault.com/u/chenrong_flying
联系邮箱：rongchen633@gmail.com
展开
-
spark_入门（单词统计）
1、特点 快如闪电的集群计算：是Hadoop的100倍，磁盘计算快10倍大规模快速通用的计算引擎：支持Java/scala/python/R 提供80+种操作符，容易构建并行应用 组合SQL 流计算 复杂分析运行环境：Hadoop mesos,standalone等 2、spark模块 spark core 核心模块spark SQL spark strea原创 2017-12-14 17:52:18 · 714 阅读 · 0 评论 -
localhost方式提交作业到spark运行
修改参数 代码见上一节代码地址 Java版本：JavaRDD rdd1 = sc.textFile(args[0])Scala版本： val rdd1 = sc.textFile(args(0)) 编译添加spark依赖包 org.apache.spark spark-core_2.11 2.原创 2017-12-15 15:31:30 · 771 阅读 · 0 评论