baiyangfu的专栏

众所周知，spark编程中最重要的的rdd，关于rdd

spark 的配置有很多，这里一方面总结一下官方文档中的内容，一方面

贝叶斯算法属于监督类机器学习算法，他的原理很简单，但是他的用处很

1、union(otherRDD)      union() 与mysql中的union 操作类型，

总结一下执行spark sql遇到的问题：没

首先，下载源码：

最近忙其他的工作，多日已经不弄spark，发现最新版本

本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/p

14/04/10 20:07:13 INFO ui.SparkUI: Started Spark Web UI at http://hadoop01:5929914/04/10 20:07:13 ERROR spark.SparkContext: Error adding jar (java.io.FileNotFoundException: wordcount.jar (没有那个文件或目录))

shark官网：http://shark.cs.berkeley.edu/

1、shark 是什么？

使用spark sql 的时候，加载json数据作为表的基础数据。发现其中的json数据中有些字段对应的是一个嵌套数组：{“schema1”:"hello"，“schema2” : [ {"a":1"，"b":"11"}, {“a”:"2","b":"22"}…… ]将json数据加载到spark sql 中：val sqlContext = new org.apache.spark.