深度学习基本理论 02-感知机和神经网络

原创已于 2024-02-25 21:07:24 修改 · 3k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

于 2022-10-31 16:11:29 首次发布

深度学习专栏收录该内容

63 篇文章

订阅专栏

博客主要介绍了感知机和神经网络相关知识。感知机是神经网络起源算法，可实现逻辑运算，但有无法处理异或问题的局限。神经网络由多个感知机连接而成，有通用近似定理，增加层数可提升学习性能。还介绍了激活函数，如阶跃、sigmoid等，它是区分多层感知机和神经网络的依据。

感知机

什么是感知机

实现自我学习（反复执行某一个过程，提升机器的能力）

感知机的功能

实现逻辑运算，包括逻辑和（AND）、逻辑或（OR）

感知机

什么是感知机

感知机（Perception），又称神经元（Neuron）是说呢经网络（深度学习）的起源算法，它可以接受多个信号，产生一个输出信号。

其中，x1和x2称为输入，w1和w2为权重，中间绿色的加法表示运算的规则， $\theta$ 为阈值，y为输出。

也就是说这个神经元能够接收输入，在一定公式的计算之下，产生一个输出，name计算的公式是什么，我们看右边的那个公式。

实现自我学习（反复执行某一个过程，提升机器的能力）

在上述的表达式中，x1，x2是已知的，w1，w2是未知的，我们需要一定量的样本喂给感知机，感知机通过计算得到一个y，然后我们反复的循环迭代，通过调整w1，w2， $\theta$ 这三个值，就可以使得在输入为x1，x2的情况下，输出的值为y，这个过程我们称之为感知机的学习。

感知机的功能

实现逻辑运算，包括逻辑和（AND）、逻辑或（OR）

实现逻辑和

实现逻辑或

感知机的缺陷

感知机的局限在于无法处理“异或”问题

异或问题在平面是不是一个线性可分问题

1975年，感知机的“异或”难题才被理论界彻底解决，即通过多个感知机组合来解决该问题，这种模型也叫多层感知机（Multi-Layer Perception，MLP）。如下图所示，神经元结点阈值均设置为0.5

当一个输入为0，一个输入为1时：

当一个输入为1，一个输入为1时：

当一个输入为0，一个输入为0时：

代码实现

实现逻辑和

#实现逻辑和
def AND(x1, x2):
    w1, w2 = 0.5, 0.5  # 两个权重
    theta = 0.7
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    else:
        return 1


print(AND(1, 1))  # 1
print(AND(1, 0))  # 1
print(AND(0, 0))  # 0

实现逻辑或

#实现逻辑或
def OR(x1, x2):
    w1, w2 = 0.5, 0.5  # 两个权重
    theta = 0.2
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    else:
        return 1


print(OR(1, 1))  # 1
print(OR(1, 0))  # 1
print(OR(0, 0))  # 0

实现逻辑异或

# 实现逻辑和
def AND(x1, x2):
    w1, w2 = 0.5, 0.5  # 两个权重
    theta = 0.7
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    else:
        return 1


# 实现逻辑或
def OR(x1, x2):
    w1, w2 = 0.5, 0.5  # 两个权重
    theta = 0.2
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    else:
        return 1


def XOR(x1, x2):
    s1 = not AND(x1, x2)  # 对x1,x2做逻辑和计算再取非
    s2 = OR(x1, x2)  # 直接对x1,x2做逻辑或运算
    y = AND(s1, s2)
    return y


print(XOR(1, 1))  # 1
print(XOR(1, 0))  # 1
print(XOR(0, 1))  # 1
print(XOR(0, 0))  # 0

神经网络

感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内，神经元彼此不连接，而且跨层之间的神经元，彼此也不想连。