
Spark
周天祥
一起学习,一起分享
展开
-
IDEA 创建scala spark的Mvn项目
IDEA 创建scala spark的Mvn项目对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。https://www.cbedai.net/u0146466621.创建一个简单的Mvn项目...原创 2018-11-29 14:13:31 · 76676 阅读 · 1 评论 -
Spark RDD基础
Spark RDD基础IDEA 创建scala spark的Mvn项目:https://blog.youkuaiyun.com/u014646662/article/details/84618032spark快速大数据分析.pdf下载:https://download.youkuaiyun.com/download/u014646662/10816588弹性分布式数据集(Resilient Distribut...原创 2018-11-30 14:17:24 · 72978 阅读 · 0 评论 -
Spark RDD简单操作
Spark RDD操作spark快速大数据分析.pdf下载:https://download.youkuaiyun.com/download/u014646662/10816588IDEA 创建scala spark的Mvn项目:https://blog.youkuaiyun.com/u014646662/article/details/846180321、Spark RDD转化操作2、Spark RDD...原创 2018-11-30 15:45:55 · 74102 阅读 · 1 评论 -
Spark RDD常见的转化操作和行动操作
Spark RDD常见的转化操作和行动操作IDEA 创建scala spark的Mvn项目:https://blog.youkuaiyun.com/u014646662/article/details/84618032spark快速大数据分析.pdf下载:https://download.youkuaiyun.com/download/u014646662/108165881. 针对各个元素的转化操作2 ...原创 2018-12-01 11:13:39 · 85320 阅读 · 0 评论 -
Spark 持久化(缓存)
Spark 持久化(缓存) 如前所述,Spark RDD 是惰性求值的,而有时我们希望能多次使用同一个RDD。如果简单地对RDD 调用行动操作,Spark 每次都会重算RDD 以及它的所有依赖。这在迭代算法中消耗格外大,因为迭代算法常常会多次使用同一组数据。 var input = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7)) val ...原创 2018-12-01 14:56:57 · 74217 阅读 · 0 评论 -
Spark Pair RDD键值对操作
Spark Pair RDD键值对操作1 PairRDD简介2 创建Pair RDD3 Pair RDD的转化操作3.1 聚合操作对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。...原创 2019-03-11 17:38:16 · 33166 阅读 · 0 评论