一、神经网络 -- 从感知机讲起

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》National Taiwan University (NTU)李宏毅老师的《Machine Learning》的课程，在下文中如果不正确的地方请积极指出。
如果喜欢请点赞，欢迎评论留言 ！ o(￣▽￣)ブ

1. 感知机、sigmoid神经元与逻辑回归之间的关系

  感知机是一种十分简单易实现的机器学习方法，但是它也是很多知名方法的起源，比如说 SVM 以及之后要介绍的神经网络。下面将从感知机、sigmoid神经元与逻辑回归三个方面介绍，因为本系列文章主要针对神经网络与深度学习，所以对于感知机和逻辑回归部分的介绍会比较简单，感兴趣的同学可以参考李航博士的《统计学习方法》。

1.1 感知机

  感知机是由科学家Frank Rosenblatt发明于1950至1960年代，它受到了Warren McCulloch 和Walter Pitts的更早工作的启发。其具体结构如图1所示

图1. 感知机结构图

其中的 $x$ 是感知机的输入，一个感知机还可以有更多的输入，但这些输入都必须是二进制的输入； $w_1, w_2$ 是表示各个输入对于输出的重要程度，称为权重。
  感知机的输出是1还是0主要通过下式进行判断

f(n)={ 0,1,if  ∑jwjxj≤ thresholdif  ∑jwj