漫游学海之旅

1   错误[error] (run-main-0) java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;java.lang.NoSuchMethodError: scala.collection.immutable.HashS

通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。Application Web UIhttp://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）stages和tasks调度情况；（2）RD

Shuffle是把一组无规则的数据尽量转换成一组具有一定规则的数据。

1  Lineage机制  2  CheckPoint机制

Spark I/O  不仅需要考虑本地主机的I/O开销，还要考虑数据在不同主机之间到传输开销。 Spark的寻址方式也针对大数据发生改变。    1 序列化    2 压缩   3 Spark 块管理

Spark 有多种运行模式：  Local模式   Standlone模式  YARN模式 Mesos模式 1 Spark  应用之间到调用2  应用程序内Job的调用3 Stage 和 TaskSetMessager调度方式4 Task 调度

2014届全国高校云计算大赛技能赛 K-频繁项集挖掘并行化算法 环境描述： 本题目需要运行在 Apache Spark 1.0.1Apache Spark 1.0.1Apache Spark 1.0.1 Apache Spark 1.0.1Apache Spark 1.0.1 Apache Spark 1.0.1 Apache Spark 1.0.1Apache Spark 1.0.

问题导读1.什么是GraphX？2.如何将Spark和GraphX引入到项目中？3.从一个图中取出顶点特征加入到另外一个图中如何实现？Spark中文手册-编程指南GraphX编程指南GraphX是一个新的（alpha）Spark API，它用于图和并行图(graph-parallel)的计算。GraphX通过引入Resilient

1.  需要       Eclipse    http://www.eclipse.org/downloads/      Scala IDE   http://scala-ide.org/blog/release-notes-4.2.0-vfinal.html         前提： 安装了JDK 、 Scala  http://www.scala-lang.org

Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储系统，可融入Hadoop生态。 Spark与Hadoop MapReduce优势如下1 中间结果输出   MapReduce的计算引擎将中间结果存储在磁盘上，进行存储和容错。   Spark

启动终端，cd 到 SPARK_HOME/  路径下运行命令         $ ./bin/spark-shell

SparkPi源码import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { if (args.length == 0)

错误 当我们配置好spark 运行 其中的SparkPi的例子时可能会遇到下面错误： 15/12/30 21:07:54 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)java.lang.ClassNotFoundException: main.scala.SparkPi$$anonfun$1 at java