StephenLu0422的博客

2016.07.141-Spark实战演练：Spark概述及生态环境 2.Spark实战演练：Spark vs Hadoop MapReduce   任意一条边有方向且不存在环路的图，一次执行所有这些图的任务节点，而不需要一个个按照顺序来进行，这个方案避免了mapreduce中麻烦的同步问题，应用程序构建简单。创新：1支持跨DAG的内存数据分享，不同任务

spark ML机器学习问题:什么是主成分分析（PCA）?解答：ps:使用的是ML不是MLib，区别是ML更加的抽象，使用的DataSet(Dataframe为其子集),使用了pipeline将数据进入管道。PCA解析将高维数据降维代码实现(参考官网)：import org.apache.spark.ml.feature.PCAimport org.apache.spark.sql._impor

sparkML-note-算法总结思维导图问题:spark ML机器学习算法有哪些常用的算法？怎么分类？解答spark ML 思维导图总结ClassficationClusteringFeatureRegresssionStatisties 思维导图 参考＞　spark官网

（本文为本人学习工作总结，如有雷同，不胜荣幸。可联系本人立即修改或者删除）SparkML实现Kmeans问题：什么是Kmeans算法？有什么用？怎么用？解答解析应用1.不同维度鱼类聚类 2.多台集群日志数据按天多维度的聚类 3.用户偏好商品聚类代码实现val labeleRdd = sql("select channel,region,fresh,milk,