canglan211的博客

转载：https://blog.youkuaiyun.com/guomutian911/article/details/78448171 如果读者对方向导数和梯度的定义不太了解，请先阅读上篇文章《方向导数与梯度》。 前些时间接触了机器学习，发现梯度下降法是机器学习里比较基础又比较重要的一个求最小值的算法。梯度下降算法过程如下：1）随机初始值；2）迭代，直至收敛。表示在处的负梯度方向，表...

影片推荐： SVDPlusPlus （监督学习） 推荐系统就是监督学习的一个例子，因为它提供了 一些影片评分的数据，并要求预测未知的用户对影片的评分。一般有两种主流的方法来解决这个问题。 1）第一种主流方法比较直接和简单 ： 对于需要处理的用户 ， Pat， 找到和他有相同爱好的其他用户，然后给 Pat 推荐这些用户喜欢的影片。这就是 Netflix 公司早期的推荐策略，有时被称为邻居...

1. 隐含狄利克雷分布（Latent Dirichlet allocation，LDA） 1）LDA 属于无监督学习，所有的主题并不需要事先指定，是在聚类过程中逐渐形成的 。 2）MLlib 的 LDA 使用了 GraphX 来提高计算效率，尽管它的输入和输出都不是图。 3）LDA 是基于隐含变量的，在这里隐含变量指的是算法自动推断出来的“主题”。这些主题由一些与之关联的单词描述，但并...

垃圾信息检测：LogisticRegressionWithSGD (Stochastic Gradient Descent) 1）构建训练集的图import org.apache.spark.graphx._import org.apache.spark.mllib.classification.LogisticRegressionWithSGDval trainV = sc.ma...