whgyxy的博客

Spark的Word2Vec示例这里演示Spark的ml包里面Word2Vec的训练与加载过程import org.apache.spark.ml.feature.{Word2Vec, Word2VecModel}import org.apache.spark.ml.linalg.Vectorimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}/** * 从句子训练得到Embedding */object Tex

原创作者网址：http://www.cnblogs.com/eczhou/p/3951861.html线性回归与梯度下降算法作者：上品物语知识点：线性回归概念梯度下降算法        l  批量梯度下降算法        l  随机梯度下降算法        l  算法收敛判断方法1.1   线性回归在统计学中，线性回归(L

文章目录org.joda.time.DateTime常用工具 scala实现方法索引org.joda.time.DateTime常用工具 scala实现org.joda.timejava原生的时间处理函数实在是无力吐槽，太难用了。后来找到一个非常好用的时间处理模块——joda时间处理，真是个好东西，处理时间非常便捷，在这个基础上进行简单的封装可以完成很多事情，这里列出scala实现的一些...

判断一个点是否在多边形里面判断一个点是否在一个多边形里面，会在很多地方用到。尤其是，给你一个多边形，不管是凹的，凸的，任意形状，然后再来一个点的位置，任凭你这个点的位置在哪，都能快速判断这个点是不是属于这个多边形，不管点在哪，快到碗里来开始以为判断一个点是否属于多边形的算法非常复杂，我都准备好闭关修炼苦攻算法，没想到原理是这么简单，so easy~ 这个算法用途非常广泛，可以用在地理位置计算...

Spark 机器学习——逻辑回归Spark机器学习的基础知识有一篇文章写的很浅显易懂，附上文章地址 spark-ML基础这里用Spark的逻辑回归进行分类的实例，分类数据集来自UGI 葡萄酒数据集类别样本数量class 159class 271class 348该数据集有13个属性，没有缺失值，可以直接看到数据 http://archive.ics...

Factorization Machine的一些小结FMFM使用了矩阵分解的思想学习组合特征的系数二阶FM可以通过公式化简将时间复杂度降低到O(kn)，三阶及以上无法化简，时间复杂度较高FM的分解中factor因子一般取的比较小，一方面可以减少需要学习的参数，另外一方面可以提高泛化能力libFM是比较早出现的算法包，后面出现了Spark实现的FMFM学习算法SGD算法可以求解分...