<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[liumy601的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/liumy601</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; liumy601]]></copyright><item><title><![CDATA[深度学习正则化方法总结]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/88619867</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/88619867</guid><author>liumy601</author><pubDate>Sun, 17 Mar 2019 23:37:27 +0800</pubDate><description><![CDATA[机器学习模型为了提高模型的泛化性能、减少过拟合，通常都会采用一些正则化方法来控制模型的复杂度。深度学习模型比普通的机器学习模型更复杂，更容易过拟合，因此更需要进行正则化处理，本文总结下深度学习常用的14种正则化方法，提供一些参考。

1、对权重参数增加L1、L2正则项





 L1正则化主要是对损失函数增加权重参数w的绝对值项，权重服从Laplace分布，得到的参数通常比较稀...]]></description><category></category></item><item><title><![CDATA[深度学习优化方法总结]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/88355670</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/88355670</guid><author>liumy601</author><pubDate>Fri, 08 Mar 2019 18:19:39 +0800</pubDate><description><![CDATA[1、SGD

SGD算法是最基本的优化算法，首先批量采样，然后计算该批次样本的梯度，最后以学习率和梯度更新模型参数theta。



2、SGD with momentum

相对SGD算法，多了参数v，用来统计历史梯度累计和，另外通过参数alpha来控制历史梯度累加和对当前参数更新的影响。



3、SGD with Nesterov

和SGD with momentum算法的不同点在于，计算...]]></description><category></category></item><item><title><![CDATA[LSTM与GRU比较]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/83339580</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/83339580</guid><author>liumy601</author><pubDate>Sat, 02 Mar 2019 22:40:01 +0800</pubDate><description><![CDATA[RNN模型中使用得最多的是LSTM和GRU模型，LSTM主要通过输入门、输出门、遗忘门来有选择地遗忘，GRU类似，包含更新门、重置门两种门，本文主要对这2种模型对比下异同点，





表示当前状态，表示上一个隐含层状态，表示输入，输入门、输出门、遗忘门都采用sigmoid函数，使最终结果限定在0到1范围。

       （1）遗忘门



     ...]]></description><category></category></item><item><title><![CDATA[word2vec论文学习]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/80198754</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/80198754</guid><author>liumy601</author><pubDate>Fri, 01 Mar 2019 23:58:45 +0800</pubDate><description><![CDATA[Word2Vec是2003年由Tomas Mikolov提出的，有兴趣的可以阅读下论文《Efficient Estimation of Word Representations in Vector Space》，Word2Vec主要包含CBOW和Skip-gram两种架构，这两种架构与传统神经网络的区别在于没有隐含层，增加了投影层，具体结构如下图：



   CBOW（Conti...]]></description><category></category></item><item><title><![CDATA[Item2Vec算法介绍]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/82889431</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/82889431</guid><author>liumy601</author><pubDate>Fri, 01 Mar 2019 22:46:18 +0800</pubDate><description><![CDATA[最早看到Item2vec是微软研究院的这篇文章（https://arxiv.org/vc/arxiv/papers/1603/1603.04259v2.pdf），本文主要是对这篇论文做一些介绍，Item2vec主要思想是借鉴了Word2Vec，并且采用SGNS（Skip-gram + Negative Sampling）的方法来生成物品向量，最后只需要计算当前浏览的物品与其它物品的向...]]></description><category></category></item><item><title><![CDATA[基于随机梯度下降的SVD原理分享及Python代码实现]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/82051098</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/82051098</guid><author>liumy601</author><pubDate>Sat, 25 Aug 2018 14:51:21 +0800</pubDate><description><![CDATA[      传统的SVD方法需要将rating分解成用户向量p和物品向量q，通常大型系统中p和q的维数都比较高，例如电商系统中，用户的维数甚至达到上亿维，进行这样的大矩阵分解还是比较困难的。另外，通常rating中包含大量的缺失值，一般采用平均值等方法来填充，但是这些填充值本身就不一定准确，因此会一定程度上影响后续的矩阵分解结果的准确性。所以一般采用近似的方法来构造用户向量p和物品向量q，常用的方...]]></description><category></category></item><item><title><![CDATA[基于ML-DecisionTree的多标签分类算法]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/79909824</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/79909824</guid><author>liumy601</author><pubDate>Thu, 12 Apr 2018 11:13:41 +0800</pubDate><description><![CDATA[     之前有一篇文章介绍了ML-KNN多标签分类算法，这里再介绍另一个算法ML-DT，算法思想比较简单，借鉴了决策树根据信息增益筛选特征生成分类器的思想，多标签场景下，信息增益表示的是该特征对所有标签的鉴别能力。     算法大致思想如下：首先计算每个特征的信息增益IG，挑选IG最大的特征来划分样本为左右子集，递归下去，直到满足停止条件（例如叶子节点中子集样本数量为100）结束，对未知样本，沿...]]></description><category></category></item><item><title><![CDATA[基于ML-KNN的多标签分类算法]]></title><link>https://blog.youkuaiyun.com/liumy601/article/details/79908496</link><guid>https://blog.youkuaiyun.com/liumy601/article/details/79908496</guid><author>liumy601</author><pubDate>Thu, 12 Apr 2018 10:41:50 +0800</pubDate><description><![CDATA[     最近有一个项目需要用多标签分类思想来建模，之前对这块不是太了解，查了一些论文，发现目前主流的算法包括ML-KNN、ML-DT、Rank-SVM、CML等，其中ML-KNN算法思想最简单，结合原始论文，本文大概介绍下算法思想和代码实现。      ML-KNN借鉴了KNN的思想寻找K个近邻样本，并运用贝叶斯条件概率，来计算当前标签为1和0的概率，概率大的标签定为样本最终的标签，这就是ML-...]]></description><category></category></item></channel></rss>