啊左的专栏

本文翻译Spark官方文档，版本为2.2.1。章节目录如下：概览通过编写应用程序使用Spark链接到Spark初始化Spark通过Spark-Shell使用Spark弹性分布式数据集RDDparallelizing 集合外部数据集RDD操作基本操作将函数传递给Spark了解闭包例子本地或集群模式打印RDD的

http://spark.apache.org/docs/latest/quick-start.html#more-on-dataset-operations使用Spark Shell进行交互式分析基础更多DataSet 操作缓存Spark应用程序更多本教程提供了使用Spark的快速入门教程。我们将首先通过Spark的交互式shell（Python或Scala）介

第37课：Spark中Shuffle详解及作业 http://www.blog.youkuaiyun.com/zhumr/article/details/52540994Spark Shuffle原理、Shuffle操作问题解决和参数调优 http://www.cnblogs.com/arachis/p/Spark_Shuffle.html美团Spark性能优化指南——基础篇 https://t...

转载自http://blog.youkuaiyun.com/qq_19917081/article/details/56841299spark streaming 从kafka拉取数据，根绝消息内容，需要将不容的消息放到不同的文件夹下，大致内容为 从消息中拆分出域名，不同域名分不到不同目录，域名下按消息中的时间分年月日目录，底层目录下自定义文件个数，实现追加 由于sparkstreaming ...