深度学习入门基于Python的理论与实现_第二章_感知机(神经网络基础)

前言

• 本章介绍感知机算法，感知机是由美国学者Frank Rosenblatt在1957年提出的，它是作为神经网络（深度学习）的起源的算法。
• 学习感知机的构造是学习通向神经网络和深度学习的一种重要思想。

1. 感知机是什么

• 感知机接收多个输入信号，输出一个信号。

• 感知机的信号只有1和0两种取值，0对应不传递信号，1对应传递信号。

• 下图为一个接收两个输入信号的感知机。其中x₁、x₂是输入信号，y是输出信号，w₁、w₂是权重(w是weight的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被乘以固定的权重，神经元会计算传送过来的信号的总和，只有当这个总和超过了某个阈值θ时，才会输出1。此过程也称为“神经元被激活”
  

• 上述内容的数学表达式为：
  

• 输入信号都有各自固定的权重，权重发挥着控制各个信号的重要性的作用，权重越大，对应该权重的信号的重要性就越高。

• 权重相当于电路里的电导。电导是描述某一种导体传输电流能力强弱程度，电导越大，通过的电流越大；在感知机中，权重越大，通过的信号就越大。

2. 简单逻辑电路

• 可以通过对参数设定不同的取值来实现不同的逻辑门功能。
  以上述的两输入的感知机为例：
  如(w₁, w₂, θ) = (0.5, 0.5, 0.7)，可实现与门(AND gate)的功能。
  如(w₁, w₂, θ) = (-0.5, -0.5, -0.7)，可实现与非门(NAND gate)的功能。
  如(w₁, w₂, θ) = (0.5, 0.5, 0.3)，可实现或门(OR gate)的功能
• 如上所示，与门、与非门、或门的感知机的构造是一样的，实际上，上述三个门电路只有参数(权重和阈值)的取值不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以实现不同的功能。
• 从上面的分析我们可以看出，决定感知机参数的并不是计算机，而是我们人，我们通过逻辑真值表这种“训练数据”，人工考虑出参数的值。而机器学习就是将这个决定参数值的工作交给计算机自动进行。
  学习是确定合适的参数的过程，而人要做的是思考感知机的构造(模型)，并把训练数据交给计算机

3. 感知机的实现

3.1 简单的实现

• 通过Python来实现与门，首先定义一个接收参数为x1和x2的函数，再在函数内初始化参数w1、w2、theta，当输入的加权总和超过阈值时返回1，否则返回0。

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1
    
print(AND(0, 0))
print(AND(0, 1))
print(AND(1, 0))
print(AND(1, 1))

0
0
0