m0_55355215的博客

10.8 -10.9预备知识期望与均值期望是针对于随机变量而言的一个量，可以理解是一种站在“上帝视角”的值。针对于他的样本空间而言的。期望是一种概率论概念，是一个数学特征。均值是一个统计量(对观察样本的统计)，隐变量统计里，隐变量是不可观测的随机变量，我们通常通过可观测变量的样本对隐变量作出推断。由于产生过程是不可观测的（或者说隐藏的），故得名隐变量。我们可以通过收集样本对隐变量的后验概率进行推断，然后用估计的后验概率来对数据进行聚类。不能被直接观察到，但是对系统的状态和能观察到

正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓℓ1-norm，ℓ2-norm中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下面是L1正则化和L2正则化的作用：L1正则化可以产生稀疏权值矩