Spark系列
关注
分享
扫一扫
Spark系列
怪异收集者
无法访问
展开
-
分布式执行代码的认知纠正
Spark是一个分布式计算系统/组件/平台，这是都知道的，其用Scala实现Spark任务也是最原生的，但万万不能认为只要是在Spark环境下执行的Scala代码都是分布式执行的，这是大错特错的，一开始一直有错误的认识，但现在想想，如果拿Java和Hadoop的关系来作对比，其就很容易理解了。思维纠正Java&Hadoop的关系Java...原创 2018-06-10 13:19:15 · 124 阅读 · 0 评论 -
Spark图计算及GraphX简单入门
GraphX介绍GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图...原创 2018-04-28 13:46:28 · 302 阅读 · 0 评论 -
提交Spark任务的三种方式
在使用Spark的过程中，一般都会经历调试，提交任务等等环节，如果每个环节都可以确认程序的输入结果，那么无疑对加快代码的调试起了很大的作用，现在，借助IDEA可以非常快捷方便的对Spark代码进行调试，在借助IDEA来完成Spark时，可以大致通过以下几个步骤来完成：初始构建项目阶段，使用Local模式本地运行项目大致完成阶段，使用IDEA连接...原创 2018-05-14 12:23:26 · 1831 阅读 · 0 评论 -
Spark的RDDs相关内容
RDDs的介绍Driver programmain()方法，RDDs的定义和操作管理很多节点，称作executorsSparkContextDriver programs通过SparkContext对象访问SparkSparkContext对象代表和一个集群的连接在Shell中SparkContext是自动创建好的，即sc//使用一...原创 2017-11-28 07:05:37 · 160 阅读 · 0 评论 -
Spark安装之问题
厦门大学数据库实验室教程有几个坑SparkSQL context 在执行sql语句时，现在使用spark.sql()替换sqlContext.sal()sparkapp使用sbt打包simple.sbt直接使用教程中的sbt依赖版本即可，即此处无所谓，不过最好是和本机配置版本一致sbt package打包运行时一定要注意联网！！注意执行此打包命令...原创 2017-02-19 20:10:47 · 137 阅读 · 0 评论 -
解决MyEclipse中安装或升级ADT之后SDK Target无法显示的问题
故障现象，在MyEclipse里面安装完最新的android sdk和ADT之后，无法新建项目，Build Target为空，显示一直在loading。即如下面图里面显示的，Target Name下面全是空的，无论如何重新Browse SDK的路径都不行。。。。 Target无法显示的问题" title="解决MyEclipse中安装或升级ADT之后SDK T转载 2016-07-31 12:48:54 · 560 阅读 · 0 评论