<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[KAMITA的博客]]></title><description><![CDATA[Bayesian nonparametrics]]></description><link>https://blog.youkuaiyun.com/lee813</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lee813]]></copyright><item><title><![CDATA[VAE的损失函数的拆分]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/100072168</link><guid>https://blog.youkuaiyun.com/lee813/article/details/100072168</guid><author>lee813</author><pubDate>Mon, 14 Oct 2019 11:19:53 +0800</pubDate><description><![CDATA[「Structured Disentangled Representations」这篇文章对VAE的损失函数提出了一个同一化的解释，根据这个解释可以很好的分析近几年来对VAE的各种变形。
VAE损失函数的不同形式

...]]></description><category></category></item><item><title><![CDATA[Variational Autoencoder 变分自动编码器]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/87238849</link><guid>https://blog.youkuaiyun.com/lee813/article/details/87238849</guid><author>lee813</author><pubDate>Sun, 28 Jul 2019 23:36:11 +0800</pubDate><description><![CDATA[一步一步实现一个VAE
大部分来自Keras VAE的教程，不过没有使用mnist，而是用了cifar10的数据集
最简单的两个全链接层的Autoencoder
先贴个代码:
# this is the size of our encoded representations
encoding_dim = 32  # 32 floats -&amp;gt; compression of factor 24....]]></description><category></category></item><item><title><![CDATA[PyTorch训练模型小结]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/89609691</link><guid>https://blog.youkuaiyun.com/lee813/article/details/89609691</guid><author>lee813</author><pubDate>Sun, 28 Apr 2019 11:45:03 +0800</pubDate><description><![CDATA[平时用了很多Keras，训练的时候非常方便，直接model.fit就可以了。但是PyTorch的训练得自己写，这里小结下PyTorch怎么训练模型。
PyTorch训练的大体步骤
一个标准的PyTorch模型必须得有一个固定结构的类，结构如下
class TwoLayerNet(torch.nn.Module):
    def __init__(self, D_in, H, D_out):
  ...]]></description><category></category></item><item><title><![CDATA[Keras 使用小结]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/88923225</link><guid>https://blog.youkuaiyun.com/lee813/article/details/88923225</guid><author>lee813</author><pubDate>Sun, 31 Mar 2019 06:33:36 +0800</pubDate><description><![CDATA[Keras的两种模型构造方式


通用模型（函数式）
通用模型可以用来设计非常复杂、任意拓扑结构的神经网络，例如有向无环图网络类似于序列模型，通用模型通过函数化的应用接口来定义模型使用函数化的应用接口有好多好处，比如：决定函数执行结果的唯一要素是其返回值，而决定返回值的唯一要素则是其参数，这大大减轻了代码测试的工作量
在通用模型中，定义的时候，从输入的多维矩阵开始，然后定义各层及其要素，最后定义输...]]></description><category></category></item><item><title><![CDATA[一张基本涵盖了所有神经网络类型的图]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/86447876</link><guid>https://blog.youkuaiyun.com/lee813/article/details/86447876</guid><author>lee813</author><pubDate>Mon, 14 Jan 2019 01:03:28 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Deep learning下的单类别分类器应用]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/84595034</link><guid>https://blog.youkuaiyun.com/lee813/article/details/84595034</guid><author>lee813</author><pubDate>Thu, 29 Nov 2018 00:18:21 +0800</pubDate><description><![CDATA[单类别分类是什么
单类别分类(One class classification)要做的就是一个二叉分类器，只不过它分出来的结果只有两类：要么是这个类，要么不是这个类。很简单的分类模型。
图片上单类别分类的问题
在这里我们单纯讨论图片的分类问题。如果用简单的224*224的图片做输入，需要分类的唯独就太大了，会导致计算资源消耗很大。
解决办法
使用CNN做特征提取，使用提取出来的特征做用现有的单类别...]]></description><category></category></item><item><title><![CDATA[CNN各种结构作用简析]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/82141526</link><guid>https://blog.youkuaiyun.com/lee813/article/details/82141526</guid><author>lee813</author><pubDate>Tue, 28 Aug 2018 05:29:51 +0800</pubDate><description><![CDATA[CNN 主要干了什么

CNN主要实现的就是特征提取，最经典的应用就是从多个图片中提取出有用的信息。这个过程对于人来说是个黑盒的过程，人们并不能很确切的知道里面发生了什么。结果也是非常抽象的，但是却能学习到很好的效果。

一个CNN的结构： 输入→卷积→ReLU→卷积→ReLU→池化→ReLU→卷积→ReLU→池化→全连接

CNN 的训练就是训练Filter的参数 3x3 5x5 的矩阵

每次...]]></description><category></category></item><item><title><![CDATA[CV笔记]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/81369135</link><guid>https://blog.youkuaiyun.com/lee813/article/details/81369135</guid><author>lee813</author><pubDate>Thu, 02 Aug 2018 22:55:18 +0800</pubDate><description><![CDATA[什么是ResNet

ResNet解决了什么问题？

以前Deep NN的层数不能太高，原因：

BP反向传播带来梯度弥散问题。在经过梯度反传后，经过几层后反传的梯度会彻底消失，导致当网络层数增加后，梯度无法传到的层就好比没有经过训练一样。当然由于RELU、中心归一化层的出现使得网络的深度变大，但是也还是没有从根本上解决梯度弥散的问题。单纯的把layer叠起来深层网络的效果反而不如合适层数的较浅的...]]></description><category></category></item><item><title><![CDATA[Relu的作用]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/80993355</link><guid>https://blog.youkuaiyun.com/lee813/article/details/80993355</guid><author>lee813</author><pubDate>Tue, 10 Jul 2018 22:55:16 +0800</pubDate><description><![CDATA[转自一个知乎问答；https://www.zhihu.com/question/29021768



1.为什么引入非线性激励函数？

如果不适用激励函数，那么在这种情况下每一层的输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（perceptron）了

正因为上面的原因，我们决定引入非线性函数作为激励函...]]></description><category></category></item><item><title><![CDATA[Data Mining Machine Learning 基础算法笔记]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/80147321</link><guid>https://blog.youkuaiyun.com/lee813/article/details/80147321</guid><author>lee813</author><pubDate>Mon, 30 Apr 2018 09:25:49 +0800</pubDate><description><![CDATA[Data Minig 笔记

最近要面试，准备把机器学习的一些基本方法再回顾一下。



关联规则



Apriori

算法名字里面显示它会使用先验知识。 
算法步骤如下： 
1,先扫描数据库， 统计每个项的出现次数。 
2,收集满足最小支持度的项，记为L1L1L_1 
3,使用L1L1L_1找出频繁2项集的集合L2L2L_2 
4,依次下去，知道不能再找到频繁K项集。



分类



决策...]]></description><category></category></item><item><title><![CDATA[[转载] 交叉验证（Cross Validation）简介]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/74025051</link><guid>https://blog.youkuaiyun.com/lee813/article/details/74025051</guid><author>lee813</author><pubDate>Sat, 01 Jul 2017 04:38:54 +0800</pubDate><description><![CDATA[一、训练集 vs. 测试集

在模式识别（pattern recognition）与机器学习（machine learning）的相关研究中，经常会将数据集（dataset）分为训练集（training
 set）跟测试集（testing set）这两个子集，前者用以建立模型（model），后者则用来评估该模型对未知样本进行预测时的精确度，正规的说法是泛化能力（generalization]]></description><category></category></item><item><title><![CDATA[混合模型采样的编程问题]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/72775167</link><guid>https://blog.youkuaiyun.com/lee813/article/details/72775167</guid><author>lee813</author><pubDate>Fri, 26 May 2017 22:51:50 +0800</pubDate><description><![CDATA[我们经常遇到一些混合模型，该如何从这个混合模型中进行采样呢？现有如下例子需要采样: 
0.3×(0,1)+0.5×(10,1)+0.2×(3,1)0.3 \times \mathcal{N}(0,1) + 0.5 \times \math#The number of samples from the mixture distribution
N = 100000                 

#Sampl]]></description><category></category></item><item><title><![CDATA[DPMM(狄利克雷过程混合模型)浅解和添加似然函数的问题]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/70941724</link><guid>https://blog.youkuaiyun.com/lee813/article/details/70941724</guid><author>lee813</author><pubDate>Fri, 28 Apr 2017 22:54:36 +0800</pubDate><description><![CDATA[Dirichlet Process 狄利克雷混合模型]]></description><category></category></item><item><title><![CDATA[非参数贝叶斯隐式半马尔可夫模型]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/69941576</link><guid>https://blog.youkuaiyun.com/lee813/article/details/69941576</guid><author>lee813</author><pubDate>Mon, 10 Apr 2017 04:54:36 +0800</pubDate><description><![CDATA[试着翻译 Matthew J.Johnson 的这篇文章Abstract将无处不在的对时间序列处理的马尔可夫模型加入层次性狄利克雷过程隐式马尔可夫链（HDP-HMM）作为一个自然的非参数贝叶斯的扩展是很重要的。但是，很多时候，HMM的马尔可夫性的约束是很不必要的，尤其是当我们想要学习或者编码非几何分布的状态时间的时候。]]></description><category></category></item><item><title><![CDATA[转载 Recall(召回率);Precision（准确率）;F1-Meature（综合评价指标）]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/62198886</link><guid>https://blog.youkuaiyun.com/lee813/article/details/62198886</guid><author>lee813</author><pubDate>Wed, 15 Mar 2017 04:23:21 +0800</pubDate><description><![CDATA[原文：http://blog.youkuaiyun.com/t710smgtwoshima/article/details/8215037

Recall(召回率);Precision（准确率）;F1-Meature（综合评价指标）;

 

    在信息检索(如搜索引擎)、自然语言处理和检测分类中经常会使用这些参数，介于语言翻译上的原因理解难免出现误差，下面介绍下自己对他们的理解。

 ]]></description><category></category></item><item><title><![CDATA[Forward-Backward算法做HMM的Inference]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/56009391</link><guid>https://blog.youkuaiyun.com/lee813/article/details/56009391</guid><author>lee813</author><pubDate>Mon, 20 Feb 2017 11:00:23 +0800</pubDate><description><![CDATA[F/B算法是一个求解HMM的重要算法，它是动态规划（Dynamic programming, 这个名字的翻译有点意思）的重要一种。F/B前提：假设发散概率矩阵（Emission Probablity Matrix）, 转换矩阵（Transition Probabilty Matrix) , 和初始概率（Initial probability）已知。F/B目的：求在已知的观测数据X下的某个状态Z的概率]]></description><category></category></item><item><title><![CDATA[贝叶斯层次型模型参数估计 Bayesian hierarchical model parameter estimation with Stan]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/53446560</link><guid>https://blog.youkuaiyun.com/lee813/article/details/53446560</guid><author>lee813</author><pubDate>Sat, 03 Dec 2016 18:10:31 +0800</pubDate><description><![CDATA[再来总结下贝叶斯参数估计，分为以下几部分： 
1. 先说说贝叶斯参数估计 
2. 再说说层次型模型，指的就是超参数（Hyper parameter）的选择 
3. 用吉布斯采样把这些参数（数据分布的参数和超参数）都采出来先说说贝叶斯参数估计的时候用的贝叶斯定理： 
p(Θ|y)=p(y|Θ)p(Θ)/p(y)∝p(y|Θ)p(Θ)p(\Theta|y) = p(y|\Theta)p(\Theta)/]]></description><category></category></item><item><title><![CDATA[Metropolis-Hastings算法理解]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/53241430</link><guid>https://blog.youkuaiyun.com/lee813/article/details/53241430</guid><author>lee813</author><pubDate>Sun, 20 Nov 2016 16:09:09 +0800</pubDate><description><![CDATA[搞了好长时间的BNP，但是翻来覆去这个MH算法还是不太明白，在这里记几个点来帮助理解。
教材还是主要看的LDA数学八卦，写的不错，不过我理解的比较慢，感觉有些地方讲得有点太粗了，油管上有不少视频讲的很好（Daphne Koller的），可以看看。说MH之前得先说MCMC。


1.接受率的意义
这个东西不太好理解，因为其他机器学习的地方根本就没有，太抽象。下面要开始理解了。
重点1，平]]></description><category></category></item><item><title><![CDATA[概率矩阵分解和泊松矩阵分解的区别]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/52980730</link><guid>https://blog.youkuaiyun.com/lee813/article/details/52980730</guid><author>lee813</author><pubDate>Mon, 31 Oct 2016 11:04:26 +0800</pubDate><description><![CDATA[概率矩阵分解是SVD的概率版本，它假设用户和物品的隐式特征向量服从高斯先验分布。还加设一观测到的评分数据条件概率也服从高斯先验分布。]]></description><category></category></item><item><title><![CDATA[卡尔曼滤波－转自知乎]]></title><link>https://blog.youkuaiyun.com/lee813/article/details/52911793</link><guid>https://blog.youkuaiyun.com/lee813/article/details/52911793</guid><author>lee813</author><pubDate>Mon, 24 Oct 2016 14:58:53 +0800</pubDate><description><![CDATA[假设你有两个传感器，测的是同一个信号。可是它们每次的读数都不太一样，怎么办？

取平均。

再假设你知道其中贵的那个传感器应该准一些，便宜的那个应该差一些。那有比取平均更好的办法吗？

加权平均。

怎么加权？假设两个传感器的误差都符合正态分布，假设你知道这两个正态分布的方差，用这两个方差值，（此处省略若干数学公式），你可以得到一个“最优”的权重。

接下来，重点来了：假设你只]]></description><category></category></item></channel></rss>