qq_34531825的博客

Spark常用设置，常用API使用，及错误解决办法

Spark2.0文本特征提取

启动：spark-sql log4j.properties ： log4j.rootCategory=WARN,console 这样就不会有大量INFO输出了#hive-site.xml：metastore.warehouse.dirproperty> <name>hive.metastore.warehouse.dir</name> <value>/home/hadoop/hdfs

SVM 理论 spark scikit

幂迭代聚类， power iteration clustering， PIC 原理简介 Spark 代码 参数设置

我的博客中参考了大量的文章或者别的作者的博客，有时候疏忽了并未一一标注，本着分享交流知识的目的，如果侵犯您的权利，这并非我的本意，如果您提出来，我会及时改正。概述      线性回归拟合一个因变量与一个自变量之间的线性关系y=f(x)y=f(x)。       Spark中实现了：       （1）普通最小二乘法       （2）岭回归（L2正规化）       （3）Lasso（L1正

Spark GMM 高斯混合模型概念 参数设置 模型评估 代码

聚类算法 LDA Spark2.0代码

GBDT概念 与随机森林的差异 Spark2.0中参数调试

Spark 2.0 Scikit PCA 主成分个数选择

Spark SQL是Spark结构化数据处理模块，不同于基本的Spark RDD API，Spark SQL提供了更多数据结构和计算功能，并使用了这些丰富的信息进行了额外的优化。可以通过SQL和DataSet API和Spark SQL交互。与不同API/编程语言无关，使用了相同的执行引擎。

Spark 2.0Graphx学习笔记概述、图计算应用场景、Spark中图的建立及图的基本操作利用顶点和边RDD建立一个简单的属性图、读取文件建立图三种视图及操作、Spark GraphX中的图的函数大全、结构操作子图subgraph、图的基本信息统计-度计算、Join 连接、相邻聚合消息聚合图算法工具包、数三角形、连通图、PageRank让链接来投票pregel、应用实例一Louvai

参数设置α：梯度上升算法迭代时候权重更新公式中包含 α ： http://blog.youkuaiyun.com/lu597203933/article/details/38468303 为了更好理解 α和最大迭代次数的作用，给出Python版的函数计算过程。# 梯度上升算法-计算回归系数 # 每个回归系数初始化为1# 重复R次：# 计算整个数据集的梯度# 使用α*梯度更新回

ML Tuning: model selection and hyperparameter tuning 交叉验证 crossValiation spark ParamMap 参数选择和调优K 折交叉验证Spark Cross Validation 代码

随机森林算法介绍 Spark2.0中的参数设置 代码分析

Spark合同过滤 ALS算法代码 参数选择

Spark2.0 MLPC（多层神经网络分类器）算法概述 MultilayerPerceptronClassifier（MLPC）这是一个基于前馈神经网络的分类器，它是一种在输入层与输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。 中间的节点使用sigmoid （logistic）函数，输出层的节点使用softmax函数

One-vs-Rest classifier将只能用于二分问题的分类方法扩展到多类Spark中那些方法可以用于多类分类多类分类结果评估（MulticlassClassificationEvaluator类） 在前面一篇文章里面介绍的关于二分问题的评估方法，部分评估方法可以延伸到多类分类为问题。这些概念可以参考 下面的文章： （http://blog.youkuaiyun.com/qq_34531825/a

数据规范化标准化 Normalizer 规范化、StandardScaler、 MinMaxScaler、 MaxAbsScaler label 与feature的重新编号（码）。 VectorIndexer、 StringIndexer、 IndexToString 、oneHotEncoder、bucketizer分箱，QuantileDiscretizer

决策树种类差别Spark2.0 MLLib中决策树代码分析，参数选取，剪枝

概述MLlib中众多机器学习算法API在单一管道或工作流中更容易相互结合起来使用。管道的思想主要是受到scikit-learn库的启发。 ML API使用Spark SQL中的DataFrame作为机器学习的数据集。DataFrame不同的列可以分别存储文本，特征向量，真实的Lables，和预测值。Transformer:一个Transformer是一个算法，可以将一个DataFrame转换

欢迎使用Markdown编辑器写博客SBT 依赖包： groupId = org.apache.spark artifactId = spark-sql-kafka-0-10_2.11 version = 2.1.1在Spark2.x中，Spark Streaming获得了比较全面的升级，称为Structured Streaming，和之前的很不同，功能更强大，效率更高，跟其他的