foreseerwang的博客

本文实现了MLaPP一书21.3.2节中的一个范例：Mean field for the Ising model是。回头来看，完成这个范例非常简单，就是一个公式（21.52）。但是，更重要的是理解这个公式的推导过程原理，并不容易。

手写中文文章识别（1）——问题描述https://blog.youkuaiyun.com/foreseerwang/article/details/80833749手写中文文章识别（2）——样本集构建https://blog.youkuaiyun.com/foreseerwang/article/details/80842498手写中文文章识别（3）——data feedinghttps://blog...

手写中文文章识别（1）——问题描述https://blog.youkuaiyun.com/foreseerwang/article/details/80833749手写中文文章识别（2）——样本集构建https://blog.youkuaiyun.com/foreseerwang/article/details/80842498前文提到，样本集构建会形成文章文件（.code/.char/.len）和手写中文图片文件，本文...

手写中文文章识别（1）——问题描述https://blog.youkuaiyun.com/foreseerwang/article/details/80833749手写中文文章识别（2）——样本集构建https://blog.youkuaiyun.com/foreseerwang/article/details/80842498手写中文文章识别（3）——data feedinghttps://blog...

首先要明确思路。假设有10万篇文章，每篇1000字，共计1亿字。很显然，不可能按照文章内容，逐字把图片都读取、保存下来形成样本集，这个存储量会是一个天文数字，其中有大量的冗余。更好的办法是分别保存文章和手写汉字图片集，在训练时即时生成样本集batch，训练完毕便扔掉，再重新生成下一batch。按照这一思路以及上文（https://blog.youkuaiyun.com/foreseerwang/article...

从本文开始，介绍近期学习和练习的一个项目：手写中文文章识别。简单举例，就是如下这样一篇手写文章的识别。 这张图是我构造的，可以看出来很规整。实际需要识别的文章可能是扫描或拍照获得的，肯定不会这么干净。 针对这样一篇手写文章的识别，首先需要进行图片预处理：包括纠正畸变、降噪、文字图片切割等等。输出可能包括两种情况：第一种是切出每个字，第二种是切出每句话或每行文字。考虑到通用性，这里使用第一种情况，即...

本文主要来自于斯坦福大学CS224d课程笔记note1，文后给出的范例来自于该课程作业assignment1。在完成该作业的时候参考了如下链接中的代码： http://blog.youkuaiyun.com/han_xiaoyang/article/details/51760923 参考的意思是，在有些无法理解的地方会阅读这个代码，理解之后自己再实现。 这个文档网上流传很广，但其中是有些笔误的，譬如：nega...

SSM问题（State space models）即：z为隐变量，y为观测量% 状态转移函数：z(k) = f(z(k-1)) + v% 状态观测函数：y(k) = h(z(k)) + n% 已知：y(1:k)% 目标：计算z的估计值当函数f和h为线性变换时，此为线性高斯SSM（LG-SSM）问题或线性动态系统（LDS）问题，详见MLaPP式（18.3）-（18

在之前的一篇博客里（http://blog.youkuaiyun.com/foreseerwang/article/details/77883616）介绍了卡尔曼滤波和卡尔曼平滑的理解，后来发现，MLaPP这本书的第18章里已有介绍本文给出了一个更加完整的卡尔曼滤波和卡尔曼平滑子程序，并基于该子程序，给出观测点序列间不等间距情况下的卡尔曼滤波和卡尔曼平滑应用示例。如下是结果：卡尔曼

本文根据MLaPP第23章，从importance sampling开始梳理，直至导出粒子滤波，并给出相应的范例程序。

使用Gibbs Sampling算法进行GMM模型聚类

给出了Gibbs sampling用于Ising模型的实现

实现了variational bayesian EM进行聚类，并与之前的k-means和EM求解高斯混合模型（GMM）的结果进行了对比。

实现了隐马尔科夫模型的EM求解，并与K-means和GMM聚类进行了对比。

对比分析卡尔曼滤波（Kalman Filter）和卡尔曼平滑（Kalman smoother）的不同，提醒注意卡尔曼平滑在离线数据处理中的重要作用。

卡尔曼滤波5个公式，看起来简单，但想弄明白并不容易。从直接理解上，个人感觉比较有帮助的是这篇博客：http://blog.youkuaiyun.com/u013453604/article/details/50301477 ；但卡尔曼滤波本质上是一种linear dynamical systems，想理解透彻最好还是搞清楚这个东西，可参考PRML第13章。现在先把最简单的示例传上来，后续根据lin

各种学术书籍上对kernel的定义和解释比较准确，但一些网文中存在概念混淆。我从个人理解的角度澄清三个容易弄错的概念，还是那句话，学术书籍里写的很清楚，我这里只不过是再啰嗦一遍。

相比于SVM，MLaPP对RVM评价颇高。这里用Matlab实现了简单的RVM算法，具体算法详见PRML 7.2节。

说明：1. 本文实现了K. P. Murphy的MLaPP一书第11章的k-means和GMM/EM算法；2. Matlab代码；3. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；MLaPP书中说的很明白，k-means可以看做是GMM的一个特例。既然是特例，就有不适用的地方。本文构造出如图1所示的通用GMM数据

1. 第11页，例1.3.1中，sigma0的定义应该是：sigma0^2=sigma^2/n，书中把n写成pi了2. 第12页，1.3.4公式的第二部分，应该是：1/tao1^2 = 1/ sigma0^2 + 1/tao^2，原文把+写成=了待续...

说明：1. 此处是台大林轩田老师主页上的hw7，对应coursera上“机器学习技法”作业二；2. 本文给出大作业（13-15题）的代码；3. Matlab代码；4. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；5. 如有问题，欢迎指教，QQ：50834。题目13-15，分为主程序和四个函数主程序：c

说明：1. 此处是台大林轩田老师主页上的hw7，对应coursera上“机器学习技法”作业二；2. 本文给出大作业（13-15题）的代码；3. Matlab代码；4. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；5. 对结果没把握。如有问题，欢迎指教，QQ：50834。题目16-18仅更新主程序，函数可继续使用题目1

说明：1. 此处是台大林轩田老师主页上的hw7，对应coursera上“机器学习技法”作业二；2. 本文给出大作业（19-20题）的代码；3. Matlab代码；4. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；5. 对结果没把握。如有问题，欢迎指教，QQ：50834。相比于题目13-18，题目19-20需要修改主程序和一个函数

说明：1. 此处是coursera上“机器学习技法”作业二，对应台大林轩田老师主页上的hw6；2. 本文给出大作业（12-18题）的代码；3. Matlab代码；4. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；5. 如有问题，欢迎指教，QQ：50834。题目12-18：分为主程序和两个函数主程序clear all;close all

说明：1. 此处是coursera上“机器学习技法”作业二，对应台大林轩田老师主页上的hw6；2. 本文给出大作业（19-20题）的代码；3. Matlab代码；4. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思；5. 如有问题，欢迎指教，QQ：50834。题目19-20，分为主程序和一个函数。主程序：clear all;close a