<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yly_3026925713的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/yly_3026925713</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yly_3026925713]]></copyright><item><title><![CDATA[机器学习系列手记（八）：采样之不均衡样本集的重采样]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105349556</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105349556</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:29:20 +0800</pubDate><description><![CDATA[采样
不均衡样本集的重采样
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在训练二分类模型时，例如姨姥诊断、网络入侵检测、信用卡反欺诈等，经常会遇到正负样本不均衡的问题。对于很多分类算法，如果直接采用不均衡的样本集来进行学习，会存在一些问题。例如，如果正负样本比例达到1:99，则分类器简单的将所有样本都判为负样本就能达到99%的正确率，显然这不是我们想要的，我们想让分类器...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之贝叶斯网络的采样]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105349287</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105349287</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:27:19 +0800</pubDate><description><![CDATA[采样
贝叶斯网络的采样
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;贝叶斯网络，又称为信念网络或有向无环图模型，是一种概率模型，利用有向无环图来刻画一组随机变量之间的条件概率分布关系。如图1是贝叶斯网络的一个经典例子，用来刻画Cloudy、Sprinkler、Rain、WetGrass等变量之间的条件分布关系。

&nbsp;&nbsp;&nbsp;&nbsp;&nbs...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之马尔可夫蒙特卡洛采样法（MCMC）]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105348904</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105348904</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:26:18 +0800</pubDate><description><![CDATA[采样
马尔可夫蒙特卡洛采样法（MCMC）
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MCMC包括两个MC，即蒙特卡洛和马尔可夫链。蒙特卡洛是指基于采样的数值型近似求解方法，而马尔可夫链则用于进行采样。MCMC采样的基本思想是：针对待采样的目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布；然后，从任意一个初始状态出发，沿着马尔可夫链进行状态转移，最终...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之高斯分布采样]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105343863</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105343863</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:19:16 +0800</pubDate><description><![CDATA[采样
高斯分布采样
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;首先，假设随机变量 zzz 服从标准正态分布 N(0,1)N(0,1)N(0,1)，令
x=σ⋅z+μx=\sigma \cdot z + \mux=σ⋅z+μ
则 xxx 服从均值为 μ\muμ、方差为 σ2\sigma^{2}σ2的高斯分布 N(μ,σ2)N(\mu, \sigma^{2})N(μ,σ2...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之常见的采样方法]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335542</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335542</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:13:23 +0800</pubDate><description><![CDATA[采样
常见的采样方法
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;对于一个随机变量，通常用概率密度函数来刻画该变量的概率分布特性。具体来说，给定随机变量的一个取值，可以根据该力密度函数来计算该值对应的概率（密度）。反过来，也可以根据概率密度函数提供的概率分布信息来生成随机变量的一个取值，这就是采样。因此，从某种意义上来说，采样是概率密度函数的逆向应用。与根据概率密度函数...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之均匀分布随机数]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335387</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335387</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 22:03:04 +0800</pubDate><description><![CDATA[采样
均匀分布随机数
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;均匀分布是指在整个样本空间中的每一个样本点对应的概率（密度）都是相等的。根据样本空间是否连续，又分为离散均匀分布和连续均匀分布。均匀帆布可以算作是最简单的概率分布。从均匀分布中进行采样，即生成均匀分布随机数，几乎是所以采样算法都需要用到的基本操作。
&nbsp;&nbsp;&nbsp;&nbsp;&nbs...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（八）：采样之采样的作用]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335312</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335312</guid><author>yly_3026925713</author><pubDate>Mon, 27 Apr 2020 21:51:18 +0800</pubDate><description><![CDATA[采样
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;采样，顾名思义就是从特定的概率分布中抽取相应样本点的过程。采样在机器学习中有着非常重要的应用：它可以将复杂的分布简化为离散的样本点；可以用重采样对样本集进行调整以更好地适应后期的模型学习；可以用于随机模拟已进行复杂模型的近似求解或推理。另外，采样在数据可视化方面也有很多应用，可以帮助人们快速、直观地了解数据的结构和特性。...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之L1正则化与稀疏性]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335170</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105335170</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:34:24 +0800</pubDate><description><![CDATA[优化算法
L1正则化与稀疏性
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特诊个，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。下面我们来说说L1正则化使得模型参数具有稀疏性的原理。
&nbsp;&nbsp;&nbs...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之随机梯度下降法的加速]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105334665</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105334665</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:24:55 +0800</pubDate><description><![CDATA[优化算法
随机梯度下降法的加速
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;提到深度学习中的优化算法，人们通常会想到随机梯度下降。但随机梯度下降有时确是你算法中的一个坑。当你设计出一个深度神经网络谁，如果只知道用随机梯度下降来训练模型，那么当你得到一个比较差的训练结果时，你可能会放弃在这个模型上继续投入精力。然而，造成训练效果差的真正原因可能并不是模型的问题，而是随机梯...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之随机梯度下降法]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319708</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319708</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:12:52 +0800</pubDate><description><![CDATA[优化算法
随机梯度下降法
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在机器学习中，优化问题的目标函数通常可以表示成

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;其中 θ\thetaθ 是待优化的模型采参数， xxx 是模型输入， f(x,θ)f(x,\theta)f(x,θ) 是模型的实际输出， yyy 是模型的目标输出，函数 LLL 刻...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之经典优化算法]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319422</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319422</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:08:03 +0800</pubDate><description><![CDATA[优化算法
经典优化算法
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;经典优化算法可以分为直接法和迭代法两大类。
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;直接法能够直接给出优化问题的最优解，但使用它有限制。直接法要求目标函数需要满足两个条件，其一是L(⋅)L(\cdot)L(⋅)是凸函数，那么θ∗\theta^*θ∗是最优解的充分必要条件是...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之有监督学习的损失函数]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105318949</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105318949</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:03:44 +0800</pubDate><description><![CDATA[优化算法
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;实际上，机器学习算法=模型表征+模型评估+优化算法。其中，优化算法所做的事情就是在模型表征空间中找到评估模型指标最好的模型。不同的优化算法对应的模型表征和评估指标不尽相同，例如经典的支持向量机对应的模型表征和评估指标分别是线性分类模型和最大间隔，逻辑回归对应的模型表征和评估指标则分别为线性分类模型和交叉熵。
随着大数...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（七）：优化算法之机器学习中的优化问题]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319291</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105319291</guid><author>yly_3026925713</author><pubDate>Sun, 19 Apr 2020 20:00:16 +0800</pubDate><description><![CDATA[优化算法
机器学习中的优化问题
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;大部分机器学习模型的参数估计问题都可以写成优化问题。机器学习模型不同，损失函数不同，对应的优化问题也各不相同。
1、凸优化问题
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;凸优化：函数P(⋅)P(\cdot)P(⋅)是凸函数当且仅当对定义域中的任意两点x,yx,yx,...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（六）：概率图模型之生成式模型与判别式模型]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317165</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317165</guid><author>yly_3026925713</author><pubDate>Mon, 13 Apr 2020 22:02:25 +0800</pubDate><description><![CDATA[概率图模型
生成式模型与判别式模型
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;假设可观测到的变量集合为 XXX，需要预测的变量集合为 YYY，其他的变量集合为 ZZZ。生成式模型是对联合概率分布 P(X,Y,Z)P(X,Y,Z)P(X,Y,Z) 进行建模，在给定观测集合 XXX 的条件下，通过计算边缘分布来得到对变量集合 YYY 的推断，即

&nbsp;&nbsp;...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（六）：概率图模型之马尔可夫模型]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317306</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317306</guid><author>yly_3026925713</author><pubDate>Mon, 13 Apr 2020 22:01:14 +0800</pubDate><description><![CDATA[概率图模型
马尔可夫模型
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;马尔可夫过程是满足无后效性的随机过程。假设一个随机过程中，tnt_ntn​ 时刻的状态 xnx_nxn​ 的条件分布，仅仅与其前一个状态 xn−1x_{n-1}xn−1​ 有关，即P(xn∣x1,x2,...,xn−1)=P(xn∣xn−1)P(x_n|x_1,x_2,...,x_{n-1})=P(x...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（六）：概率图模型之主题模型]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317684</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105317684</guid><author>yly_3026925713</author><pubDate>Mon, 13 Apr 2020 21:54:22 +0800</pubDate><description><![CDATA[概率图模型
主题模型
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;基于词袋模型或N-gram模型的文本标识模型有一个明显的缺陷，就是无法识别出两个不同的词或词组具有相同的主题，因此产生了主题模型。主题模型能够将具有相同主题的词或词组映射到同一维度上去，是一种特殊的概率图模型。判断两个不同的词属于同一主题的依据可能是这两个词有更高的概率同时出现在同一篇文档中，或给定某一主...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（六）：概率图模型之概率图表示]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105316421</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105316421</guid><author>yly_3026925713</author><pubDate>Mon, 06 Apr 2020 19:40:51 +0800</pubDate><description><![CDATA[概率图模型
概率图表示
1、朴素贝叶斯模型的原理及其概率图模型表示
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;朴素贝叶斯模型通过预测指定样本属于特定类别的概率 P(yi∣x)P(y_i|x)P(yi​∣x) 来预测该样本的所属类别，即
y=maxyiP(yi∣x)y=max_{y_i}P(y_i|x)y=maxyi​​P(yi​∣x)
P(yi∣x)P(y_i|x)P...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（六）：概率图模型之概率图模型的联合概率分布]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105316142</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105316142</guid><author>yly_3026925713</author><pubDate>Mon, 06 Apr 2020 19:40:06 +0800</pubDate><description><![CDATA[概率图模型
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布。
概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（五）：非监督学习之自组织映射神经网络]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105302846</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105302846</guid><author>yly_3026925713</author><pubDate>Sun, 05 Apr 2020 21:48:24 +0800</pubDate><description><![CDATA[非监督学习
自组织映射神经网络
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;自组织映射神经网络（Self-Organizing Map，SOM）是无监督学习方法中一类重要的方法，可用作聚类、高维可视化、数据压缩、特征提取等多种途径。自组织映射神经网络融入了大量人脑神经元的信号处理机制，有着独特的结构特点。
1、自组织映射神经网络的工作流程
&nbsp;&nbsp;&nb...]]></description><category></category></item><item><title><![CDATA[机器学习系列手记（五）：非监督学习之聚类算法的评估]]></title><link>https://blog.youkuaiyun.com/yly_3026925713/article/details/105302527</link><guid>https://blog.youkuaiyun.com/yly_3026925713/article/details/105302527</guid><author>yly_3026925713</author><pubDate>Sun, 05 Apr 2020 21:47:19 +0800</pubDate><description><![CDATA[非监督学习
聚类算法的评估
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在无监督的情况下，我们可以通过考察簇的分离情况和簇的紧凑情况来评估聚类的效果。
1、轮廓系数
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;给定一个点 ppp，该点的轮廓系数定义为

其中 a(p)a(p)a(p) 是点ppp与同一簇中的其他点 p′p'p′ 之间的平均距离...]]></description><category></category></item></channel></rss>