chenleiyfk的博客

感知机是由一名美国学者在1957年提出来的，作为神经网络和深度学习的起源算法，学习感知机的构造也是学习通向神经网络和深度学习的一种重要思想。 感知机可以有一个或者多个输入信号，输出一个信号。每个输入信号都有各自的权重，这些权重发挥着控制各个信号重要性的作用，也就是说权重越大，对应该权重的信号的重要性就越高。下面我们以两输入的感知机来描述一下真值表的逻辑，先看一下两个式子： 式子里除了输入，剩下的系数都可称为权重（权重和偏置），可以理解权重是控制输入信号...

先来复习下上篇笔记的激活函数，其作用，可以理解为每个网络之间的处理器，但它归属于上一个网络，从上一个网络出来，做一下处理，然后再将输出的数据传到下一个网络或者输出。作用：提供非线性能力，增加运算简单度，增强鲁棒性（也就是神经网络系统稳定性）。性质：处处可微分，定义域为负无穷到正无穷， 值域在（-1，1）之间比如（0,1）（-1，1）。函数：sigmoid函数，tanh函数，Relu函数...

为什么神经网络需要激活函数，且是非线性的。记得之前的笔记中讨论过将线性系统变为非线性的一个技巧，引入了Sigmoid激活函数。激活函数的作用就是希望输入一些数据后可以通过函数的计算得到想要的输出，如果仅仅是想描述下数学中的线、面等这样的现象，那么那些几元几次的方程倒是可行。但是如果先解决再高维度的数据呢？或是简单的二分类问题，怕是这些线性函数的逼近能力就相当有限了。简言之，神经网络的表达能力想要更...

在上一篇的笔记中，使用了逻辑回归的示例展示了实现一个简单神经网络的些许技巧，下面来依然通过逻辑回归的示例阐述下有关神经网络的一些说法或者称之为概念的东西吧。1、神经网络的表示（Neural Network Representation）相信大家对上图见得很多了，输入层、隐藏层和输出层也是一目了然另外。一般的啊，输入那一层不算做神经网络的一层的，所以上图就是个两层的神经网络。输入层...

在学习神经网络基础知识时，需要注意的是，去实现一个神经网络时，是需要知道一些非常重要的技术和技巧的：例如数据集，该如何表示和处理呢?；选用什么的算法方式呢，激活函数的确定；成本函数和代价函数怎么确定？；多少也得知道前向传播和反向传播的过程以及会产生怎样的结果吧。在学习什么是神经网络时拿线性回归做了示例，此次将以猫和非猫的二分类问题来传达以上的这些想法，逻辑回归是解决二分类(binary cla...

在学习神经网络基础知识时，需要注意的是，去实现一个神经网络时，是需要知道一些非常重要的技术和技巧的：例如数据集，该如何表示和处理呢?；选用什么的算法方式呢，激活函数的确定；成本函数和代价函数怎么确定？；多少也得知道前向传播和反向传播的过程以及会产生怎样的结果吧。在上一篇的学习笔记中，进行到了代价函数的设计技巧，接下来就是通过让代价达到最小来进行神经网络的训练，下面就看看神经网络是怎么做的？...

本篇的笔记将结合前面三篇的笔记来阐述逻辑回归中应用到的技术和技巧，包括https://blog.youkuaiyun.com/chenleiyfk/article/details/87819794介绍的数据处理、激活函数和成本函数的使用技巧；https://blog.youkuaiyun.com/chenleiyfk/article/details/87926932介绍的梯度下降和https://blog.csdn.ne...

在上两篇的学习笔记中，学习了数据集的表示和处理、激活函数的选取、代价函数的设计技巧和梯度下降的过程，那么神经网络在下降的计算过程是怎样的呢？下面将以目前流行的计算图的方式，展示一个神经网络的计算，是如何按照前向或反向传播过程组织起来的。1、计算图（Computation Graph）的计算尝试计算函数J，J是由三个变量a,b,c组成的函数，这个函数是3(a+bc) 。计算这个函数走三个...

在成功安装完成TensorFlow后，对TensorFlow有了个简单的认识，了解和运行了一下TensorFlow的基本流程。对介绍的东东以实例进行了demo。

TensorFlow的Ubuntu系统的源码构建安装

深度学习框架MXNet可以在各种操作系统下运行，诸如Amazon Linux、 Ubuntu/Debian、OS X、和Windows以及云平台AWS，也可以使用Docker等容器打包，还可以运行在如树莓派等嵌入式设备。此外，MXNet有丰富的语言支持，C++、Python、R、Julia和Scala等。本篇介绍了Debian/Ubuntu系统和Windows系统的安装过程。

选择什么样的深度学习框架一直是开发者非常关心的一个话题，而且深度学习框架之间的「战争」也越来越激烈。随着近几年AI的火热，越来越多的出现有关各个机器学习框架的对比文章，且随着 Python 逐渐成为机器学习社区最受欢迎的语言，支持 Python 的深度学习框架的性能也在持续的被关注。本文是我根据诸多文献给予此，将横向的对比以下深度学习框架和工具的特点：Theano、Lasagne、Blocks、TensorFlow、Keras、MXNet、PyTorch、Caffe、CNTK 、Neon。