Adaptive linear neurons model 线性神经元运用梯度下降法进行代价函数的最优化

最新推荐文章于 2025-03-25 22:49:47 发布

Amy_mm

最新推荐文章于 2025-03-25 22:49:47 发布

阅读量921

点赞数

分类专栏： python 机器学习文章标签：梯度下降法随机梯度下降线性神经元

本文链接：https://blog.youkuaiyun.com/Amy_mm/article/details/79668201

版权

该博客介绍了如何运用梯度下降法来最小化线性神经元的代价函数，通过平方误差和作为代价函数，并详细解释了权值w的更新过程。此外，还提供了python实现线性神经元的代码，并讨论了特征缩放如何加速梯度下降法的收敛，以更快找到最优解。文章最后提到了画超平面和随机梯度下降的概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Minimizing cost functions with gradient descent

【梯度下降法】

将平方误差的和作为代价函数J（w）( cost function )

利用梯度下降法最优化cost function

J（w）对于w求偏导：

所以 w更新为

代码中即： self.w_[1:] += self.eta * (X.T).dot(y - output) output = X 点乘 W

权值w更新 = eta(learning rate ) * X点乘（y - X点乘W）

【python 实现线性神经元】

源码 GIT地址：

【feature scaling 改善梯度下降法】

将数据进行标准化，变形为标准正态分布，使得梯度下降收敛更快

能够用较少的步数找到最优解（成本函数的最小值）

git地址：https://github.com/xuman-Amy/Perceptron_python/blob/master/Adaline_python.py

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
df = pd.read_csv("G:\Machine Learning\python machine learning\python machine learning code\code\ch02\iris.data",header = None)

# select setosa and versicolor
y = df.iloc[0:100, 4].values
y = np.where(y == 'Iris-setosa', -1, 1)

# extract sepal length and petal length
X = df.iloc[0:100, [0, 2]].values