zzd007的博客

1.在scala中，对集合的fold操作： val l=List(1,2,3) val res=l.fold(10)(_+_) 结果res为16  这里的10为整个集合的初始值，只使用了一次 2.spark中rdd val a=sc.makeRDD(List(1,2,3)) val res=a.fold(10)(_+_) 结果res为46 这里的10为集合中每个元素的初始值，每个元素在调

https://mp.weixin.qq.com/s/zI5yqLV3LPEUdYsAwl4nPg

https://mp.weixin.qq.com/s?__biz=MzA3MDY0NTMxOQ==&mid=2247484551&idx=1&sn=ee51a406c1fa975489b7f9758a9e8d2c&chksm=9f38e7afa84f6eb934bc8bd09b106db456b4146a663d4bff759c0e2f9c0a03f30c7479e...

实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，在使用某些数据源的时候，错误恢复时输入数据可能会丢失。在spark 1.2中，加入write ahead logs（日志）这个初步方案用来改进恢复机制，保证数据的无丢失。背景spark和rdd的设计保证了集群中worker节点的容...

来自浪尖大大：https://mp.weixin.qq.com/s/xQx3hVgXEEjGUjtlwavZUA

https://mp.weixin.qq.com/s/I0ryrdbo2VHz1Nw7JNyRMw

先说cache.val rdd1 = sc.textFile("hdfs://master:9000/wordcount/input")val rdd2 = rdd1.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)rdd2.collect这里以wordcount为例，因为rdd2中的数据经复杂操作后很重要，以后可能经常用到(如机器学习中的迭代计算...

PageRank是一种从RDD分区中获益的算法，刚学完RDD分区，便以它为例吧。 PageRank用来根据外部文档指向一个文档的链接，对集合中每个文档的重要程度赋一个度量值。该算法可以用于对网页进行排序，也可以用于排序科技文章或社交网站中有影响的用户。 PageRank是执行多次连接的一个迭代算法，算法维护两个数据集：一个由(pageID,linkList)的元素组成，包含每个页面的相邻页

浪尖院长的文章： https://mp.weixin.qq.com/s/dC321L_yMG-SwhH6Zw62Hw