Mr.Amazing的博客

偏置除了权重之外，另一个被应用于输入的线性分量被称之为偏置。他的目的是改变输入与权重相乘结果的范围。b为偏置y=a×w+by = a\times w + by=a×w+b

监督学习与非监督学习简述目录监督学习与非监督学习简述监督学习监督学习算法的步骤监督学习算法：Delta学习规则监督学习监督训练是将将一组训练集送入网络，根据网络的实际输出与期望输出之间的差别来调整连接权监督学习算法的步骤从样本集合中取一个样本（AiA_{i}Ai​,BiB_{i}Bi​），其中AiA_{i}Ai​是输入，BiB_{i}Bi​是期望输出。计算网络的实际输出O求D = BiB_{i}Bi​-O根据D调整权矩阵W对每个样本重复以上过程，直到误差对整个样本集来说不超过规定范围为止

常见激活函数目录常见激活函数sigmoid函数tanh函数ReLU函数softmax函数sigmoid函数f(x)=11+e−x;(0<f(x)<1)f(x) = \frac{1}{1 + e^{-x}} ; (0<f(x)<1)f(x)=1+e−x1​;(0<f(x)<1)sigmoid产生了一个0到1之间的平滑函数。有时需要观察在输入值略有变化时输出值发生的变化，而光滑的sigmoid函数能够做到这点。tanh函数f(x)=1−e−2x1+e−2x

目录泰勒公式泰勒公式设f(x)f(x)f(x)在x0x_{0}x0​处有n阶导，则有公式：f(x)=f(x0)+f′(x0)1!(x−x0)+f"(x0)2!(x−x0)2+...+f(n)(x0)n!(x−x0)n+O[(x−x0)n]f(x) = f(x_{0}) + \frac{f'(x_{0})}{1!}(x - x_{0}) + \frac{f"(x_{0})}{2!}(x - x_{0})^{2} + ... + \frac{f^{(n)}(x_{0})}{n!}(x - x_{0})^