phily123的博客

为了求解隐变量z在观测变量x的条件概率，根据p(z|x)=p(x,z)/p(x)，又因为p(x)很难求出，所以可以通过拟合q(z)与p(z|x)的分布来近似求出p(z|x)，通过最小化q(z)与p(z|x)的KL散度来求出q(z)的分布。

batchsize不是越大越好 使用mini-batch好处： 提高了运行效率，相比batch-GD的每个epoch只更新一次参数，使用mini-batch可以在一个epoch中多次更新参数，加速收敛。 解决了某些任务中，训练集过大，无法一次性读入内存的问题。 虽然第一点是mini-batch提出的最初始的原因，但是后来人们发现，使用mini-batch还有个好处，即每次更新时由于没有使用全量数据而仅仅使用batch内数据，从而人为给训练带来了噪声，而这个操作却往往能够带领算法走出局部最优（鞍点）。理论证明

L1范数与L2范数定义及在机器学习中的应用，L2loss作为损失函数 资料链接

一、MSE 对于线性回归问题，