17611119847

Spark MLlib基于K-Means实现数据聚类K-MeansK-Means简介算法实现原则Spark实现K-MeansSpark机器学习库算法步骤完整代码（基于spark.ml）K-MeansK-Means简介       k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之

程序说明无自动拉起脚本Spark Streaming程序往往不稳定，遇到一些网络延迟或者部分节点挂掉会导致程序批次时间过长，从而影响程序的实时性。Spark Streaming 程序会因为一些不可控因素宕机，影响数据处理。该自动拉起脚本会根据Spark在Yarn中的任务ID去判断程序是否宕机，如果程序宕机，则启动Spark程序。会根据Yarn的Web页面获取当前批次的处理时长，如果批次执行时间过长的话就会重启Spark程序。代码(Python版)# -*- coding: utf-8

Spark ML 计算两用户间的皮尔逊相似度功能说明数据格式及说明设计思路Spark ML 计算皮尔逊相关系数代码(Scala)功能说明该程序根据不同用户对不同电影的评分情况，通过Spark ML中Correlation.corr函数计算用户之间的皮尔逊相关矩阵。数据格式及说明该数据为模拟数据。X A:5.0,B:1.0,C:2.0,D:0Y A:3.0,B:1.0,C:2.0,D:3.00其中X、Y分别代表两个用户A-D代表电影名称，电影名后面代表该用户的评分注意：实

Spark ML PipelinesML管道管道的主要概念DataFramePipeline components(管道组件)Transformers(转换器)Estimators(估算器)Properties of pipeline components(管道组件属性)Pipeline(管道)工作流程详细参数ML持久性：Saving and Loading Pipelines持久性的向后兼容代码示例Estimator, Transformer, and ParamPipelineML管道管道的主要概念

Spark MLlib机器学习是什么？机器学习Spark MLlibSpark MLlib案例快速入门基本统计Correlation(相关性)Hypothesis testing(假设检验)Summarizer(总结器)未完待续。。。机器学习是什么？机器学习数据挖掘有着50多年的发展历史。机器学习就是其子领域之一，特点是利用大型计算机集群来从海量数据中分析和提取知识机器学习与计算统计学密切相关。它与数学优化紧密关联，为其提供方法、理论和应用领域。机器学习在各种传统设计和编程不能胜任的计算机任务中有广

Structured Streaming介绍与使用

Spark SQL 查询SQL语法查询单行查询模糊查询排序查询limit查询分组查询having过滤case-when行转列pivotCube计算Join表连接子查询开窗函数开窗函数SQL解读ROW_NUMRANK()DENSE_RANK() /密集排名自定义函数单行函数聚合函数（untyped）Load/SavePaquetJSONORC(存储压缩格式，比较节省空间)CSVJDBCDataFrame转为RDDSQL语法查询单行查询// 单行查询var userDF = List((1, "张三",

Spark DataSet、DataFrame使用 Spark SQL使用方法

Spark Streaming学习 Spark流计算

Spark RDD算子使用方法 spark算子语法

Spark面试 Spark源码剖析，Spark任务过程提交、宽窄依赖面试点 SparkRDD

Spark Standalone 和 Spark On Yarn环境搭建

Spark入门(一)-Spark简介

先粘出来报错信息javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)] at com.sun.security.sasl.gss...

在Spark On Hive使用SparkSQL读取hive表中的数据，local和client模式下测试都可以通过，但在yarn的cluster模式下测试抛出了如下异常：org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘test’ not found;最后找出原因：把spark的任务jar放到y...