莫比的博客

平常使用numpy这样的计算库习惯了，只允许使用标准库还有点不习惯，下面就使用这个过程来写一个。看到一个有意思的题目：仅使用python的标准库，完成一个小批量梯度下降的线性回归算法。

使用python写一个简单的神经网络

目标函数的最小化过程受到起始值和学习率（迭代步长）的影响，为了能够让收敛过程更加快速准确，需要认真对待初始化过程，这里是一个将梯度下降过程可视化的代码。

使用torchsummary计算Pytorch模型中间层的维度以及预估需要多少内存进行训练

勾子函数可以在不修改源代码的情况下实现功能的注入实现过程需要重写对应的勾子函数，需要注意执行的顺序以及参数的含义：在forward函数之后执行，输入参数为input和output，其中input是forward函数之前的输入，output是forwad函数之后的输入。这个勾子函数一般用于可视化特征图：在执行backward之时执行，backward到哪一个层就执行哪一个层的勾子函数，需要注意的是，输入参数分别为当前层的梯度输入和梯度输出，也即grad_input。

PyTorch中用于获取神经网络模型组件和参数的三种不同的方法。

超限学习机ELM的原理推导和Python代码实现

通过似然就可以得到在当前观测样本结果和分布假设的前提下，各个分布参数出现的概率，找到一个能够使得这种概率最大的，我们就可以将分布参数估计出来了。换句话说，似然度量了在已知观测数据的情况下，对于模型参数的可能性。所以极大似然估计就是在当前假设的分布下，根据已知的观测样本，求解一组最有可能的模型参数，使得模型在当前的参数组合下得到最大的可能性。而似然函数则是描述了在已知观测数据的情况下，模型参数的可能性分布。概率和似然刚好是分布的两个方面，样本是分布所表现出来的现象（结果），分布参数是分布内在的本质（原因）。

贝叶斯分类器模型表述为Pc∣xPxcPxPc∣xPxPxc​基于贝叶斯定理，Pc∣xP(c|x)Pc∣x可写为Pc∣xPcPx∣cPxPc∣xPxPcPx∣c​其中，PcP(c)Pc是类“先验”概率，Px∣cP(x|c)Px∣c是样本xxx相对于类标记c的类条件概率，或者称之为“似然”；对于每个类别来说，分母都是相同的，因而在求解时可以只比较分子部分。