rickhuan的博客

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。　　本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。　　神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑...

NN这块的公式，前馈网络是矩阵乘法。损失函数的定义也是一定的。但是如何更新参数看了不少描述，下面的叙述比较易懂的： 1、在吴恩达的CS229的讲义的第四页直接给出参数迭代公式 在UFLDL中反向传导算法一节也是直接给出的公式 2、例子：第一步：随机对比重（a,b）赋值并计算误差平方和（SSE）第二步：通过对误差比重（a,b）求导计算出误差梯度（注：Y...

神经网络需要选择的有：1 网络结构模型  2 激活函数  3 损失函数学习训练设计到：1 优化，训练集训练参数  2 泛化，测试集优化参数-----------------------------------------------------------------------不同场景不同损失函数，需求不一样损失函数就不一样，例如分类一般使用交叉熵，回归一般使用均方根误差。各个场景一般都会有常用...

出处： https://blog.youkuaiyun.com/Mbx8X9u/article/details/78140236 前言在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。 MSE损...

构造一个单层网络，激活函数是sigmoid，损失函数是均方根。参数w0和b0，输入X，输入层L0，输出层L1，预测值Y，lr（n）学习速率python如下：import numpy as np# sigmoid function def sig(x): return (1/(1+np.exp(-x)))def deridig(y): return y*(1-y)# i...