ma_kua的博客

BP-网络可谓是机器学习领域的劝退哥，让人觉得难以亲近，其实理解之后会发现它和线性回归、逻辑回归一样，只是做了很简单的事情 那么，如何表示BP-网络才能让人更好地理解呢？ 1）概念表示得是否易于理解，概念是给人看的，越容易理解越好 2）必须解释正向和反向传播在干嘛？为什么要进行反向传播？ 3）应从最简单的神经网络开始，参数少，好记，不会眼花缭乱 4）公式、参数的表示和含义都要清楚，尤其是上标、下标...

在此之前，我们得先重温一下回归，很多时候我们只记得公式，知道逻辑回归是怎么一回事，却忘了回归是什么，怎么来的 ​ 回归是一种归纳的思想，在深度学习领域，就是从样本的数据出发，确定某些变量之间的定量关系式；这个建立数学模型并估计未知参数的过程就叫做回归分析 好了，我们给出关系式： y^=σ(wTx+b) ŷ=σ(w^Tx+b) y^​=σ(wTx+b) σ(z)=11+e−z σ(z)=\frac{...

信息熵 信息熵可以理解为信息杂乱程度的量化描述：信息越多，概率越均等则信息熵就越大；反之，信息越单一，概率越偏向其中某一个信息，那么熵值就越小 公式如下： H(X)=−∑i=1nP(x(i))logP(x(i)) H(X)=-\sum _ {i=1}^n P(x^{(i)}) logP(x^{(i)}) H(X)=−i=1∑n​P(x(i))logP(x(i)) 其中， −logP(x(i)) -...