深度学习导论--线性神经网络、delta学习规则、梯度下降法（python实现）

最新推荐文章于 2025-02-07 11:59:42 发布

Zun-

最新推荐文章于 2025-02-07 11:59:42 发布

阅读量1k

点赞数

分类专栏：深度学习导论文章标签：神经网络 python 深度学习机器学习人工智能

本文链接：https://blog.youkuaiyun.com/weixin_42297075/article/details/104640642

版权

线性神经网络

与感知器区别
- 感知器激活函数输出两种值，使用sign函数调整权值
- 线性神经网络激活函数（线性函数）输出任意值，使用LMS（最小均方）调整权值和偏置
- purelin函数（y=x）

LMS学习规则：最小均方规则

在这里插入图片描述

线性神经网络结构

在这里插入图片描述

purelin用于训练
sign用于预测

delta学习规则：连续感知器学习规则

利用梯度下降法的一般性学习法则

代价函数（损失函数）

在这里插入图片描述

梯度下降

在这里插入图片描述

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

梯度下降的问题

学习率难取
1. 太大震荡大
2. 太小收敛慢
容易陷入局部最优解

解决异或问题

在这里插入图片描述

下面的代码部分，就是在输入中添加非线性输入，实现解决异或问题

代码

import numpy as np
import matplotlib.pyplot as plt

class LinearNeuralNetwork(object):
    def __init__(self, data, label,learing_rate,epoch):
        self.data = data
        self.label = label
        self.learning_rate = learing_rate
        self.W = (np.random.random(data.shape[1]) - 0.5) * 2
        self

最低0.47元/天解锁文章