Zhang Junjian的专栏

多变量的Bernoulli distribution

主要介绍了ML的

1 对于一个有限的训练样本，建立模型去估计它的probability distribution P(X)，称之为density estimation。 我们假设{x1,x2,...,xN}，i.i.d,对于不同的模型，选择合适的分布，是PR的核心问题。 The issue of choosing an appropriate distribution relates to the proble

以第一章中多项式曲线拟合为例

这三种方法都是监督学习中的参数估计方法，假定已知data的分布形式（比如第二章里介绍的各种分布），但是需要确定参数。 1 最大似然估计Maximize Likelihood Estimation等价于曲线拟合中的最小二乘法，MLE把待估的参数看作是确定性的量，只是其取值未知，缺点：容易导致过拟合。 2 最大后验估计Maximize A Posterior Estimation等价于曲线拟合中的

1 有训练集X{x1,x2,...,xN},

1 polynomial curve fitting is a small regression problem.我们有训练集{x1,x2,...xN}和观测集{t1,t2,...tN}；通过ML找寻隐藏在数据后面的关系（y(x,w)）。用一个多项式去拟合： 其中M表示model的complexity，对于x是非线性，对于w是线性（linear model）。 利用training d

PRML is one of classical book about pr and ml. i need to read i