老杨的博客

（by 老杨，转载请注明出处） 一、本机环境     Macbook pro Retina     Scala 11.4     Jdk 1.6.05(目前，在Mac下安装IDEA社区版本只支持jdk1.6版本)     Git 2.2.0     准备就绪 二、Spark源码编译     我下载的是1.1.1版本的源码，大概13

之前一直使用VNC在远程集群上进行Spark程序开发，但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上 搭建单机Spark开发环境，作为学习开发已经足够。Linux系统用户也可以参考。 一、本机环境 Macbook pro retina with 8G memory 二、准备工作 JDK 1.6.05 Scala 11.4 在Spark下载界面下载Spark

本文为大家分享的Spark实战案例是K-频繁项集挖掘——Apriori并行化算法的实现。关联数据挖掘、频繁项集挖掘的常用算法有Apriori,Fp-growth以及eclat算法。这里我使用Apriori算法进行频繁项集挖掘。Apriori算法于2006年12月被国际权威的学术组织ICDM评为数据挖掘领域的十大经典算法。