Coix的专栏

《机器学习实战》笔记

这份笔记来源于Andrew NG在Coursera上的公开课和讲义。

一、概念形式化输入：x输出：y目标函数：F：x → y数据：(x1, y1), (x2, y2), …, (xN, yN)假设函数：g：x → y假设集：H={h}，   G∈H（假设集有助于理解是否用这个算法及用这个算法之后效果怎样。）（F函数是未知的，是机器学习的一个目标，运用数据和例子来做出假设，得到G函数。G值和F值是很接近的，但F是未知的，G是已知的。

目录核方法的自我理解几种常见的核函数核方法的自我理解一直以来，一旦提到kernel method，我就会觉得那是个很高大上的东西，今天静下心来了解了一下，对其有了点自我理解。但涉及具体原理，还需要继续补充。核方法（Kernel method），最早大家对其认识应该是在SVM里吧。它在SVM中的贡献是如何将二维空间里线性不可分的分类器转换成线性可分的分类器的一种方法。例如，将二维空间中的点(x...

在统计学中，identifiability（可识别性）是模型必须满足的属性，以便能够进行精确推理。从理论上说，如果一个模型可以从无限的观察值中学习到模型潜在参数的真实的值，那么这个模型就是可识别的（identifiable）。从数学上来说，这个就等价于参数的不同值必须产生观察变量的不同概率分布。通常情况下，基于特定的技术约束，一个模型是可识别的。那么这些约束就称为可识别条件（identificat...

两种常用的推断方法：期望最大化算法（Expectation Maximaization, EM)和变分自编码器（Variational autoencoders, VAE），都是可以通过近似逼近来优化目标函数。直观上来说，在优化目标函数上，EM是在可能的模型中交替寻找最大化，而VAE是根据梯度的采样估计进行梯度下降。那么他们之间是否有一些联系呢？今天我们来探索下。EM算法简介EM算法是一种含有...