
spark
sp_ur
这个作者很懒,什么都没留下…
展开
-
IntelliJ IDEA 创建 spark 项目
1.创建新项目:2.选择 Maven ——》选择SDK ——》Next3.起好名字4.右键在 Main 文件夹下的 java 源码包(蓝色为源码包,灰色为普通文件夹)右键 java ——》new 发现没有 scala class 选项。5.点击此选项,导入 scala SDK6.然后右键在 Main 文件夹下的 java 源码包,发现可以新建...原创 2018-09-13 10:11:08 · 7467 阅读 · 1 评论 -
Spark
Spark 有着 DAG(有向无环图)执行引擎,支持离散数据流和内存计算spark 组件:1. Spark core :所有功能在其上进行构建2. SQL:在 core 之上引入的一个新的数据集抽象(SchemaRDD),支持结构和半结构化数据。RDD:弹性可复原的分布式数据 集3. Spark Streaming:平衡 spark 内核的快速调度功能执行流分析。...原创 2018-10-27 16:26:50 · 395 阅读 · 0 评论