深度学习基础（一）：logistic分类

---

这个系列主要记录我在学习各个深度学习算法时候的笔记，因为之前已经学过大概的概念，所以这轮学习比较着重于公式推导和具体实现，而对概念上的描述不多，因此比较适合对此有一定基础的同学。

在正式开始写深度学习的知识之前，会有两节传统神经网络的内容，因为深度学习中大量运用了以往神经网络的知识。搞懂传统的神经网络如何工作是很有必要的，有助于对之后的学习打下坚实的基础。

---

1. logistic分类

几乎所有的教材都是从logistic分类开始的，因为logistic分类实在太经典，而且是神经网络的基本组成部分，每个神经元(cell)都可以看做是进行了一次logistic分类。

所谓logistic分类，顾名思义，逻辑分类，是一种二分类法，能将数据分成0和1两类。

logistic分类的流程比较简单，主要有线性求和，sigmoid函数激活，计算误差，修正参数这4个步骤。前两部用于判断，后两步用于修正。本文分为3部分，前2部分讲普通logistic分类的流程，第三部分则稍作扩展。

---

1.1 线性求和以及sigmoid函数

第1,2步是用于根据输入来判断分类的，所以放在一起说。假设有一个n维的输入列向量 x ，也有一个n维的参数列向量 h ， 还有一个偏置量b， 那么就可以线性求和得到z.

z=hTx+b

此时因为z的值域是 [−∞,+∞] ，是无法根据z来判断 x 到底是属于0还是1的。因此我们需要一个函数，来将z的值映射到[0,1]之间， 这就是激活函数。激活函数有很多种，这里的激活函数是sigmoid函数。

σ(x)=11+e−xσ′(x)=σ(x)(1−σ(x))

其形状为

图1 sigmoid函数
可以看到x越大， σ(x) 越接近1，反之，则越接近0. 那么在判断的时候，我们首先对之前得到的z代入sigmoid函数

a=σ(z)=σ(hTx+b)