机器学习(周志华)——第五章 神经网络

本文深入探讨了神经网络中的激活函数,包括Sigmoid、tanh、ReLU和ELU,分析了它们的优缺点。同时,介绍了BP算法、RBF网络和RNN循环神经网络的基本概念及特点,以及如何缓解BP网络过拟合问题。此外,讨论了卷积神经网络的卷积、下采样过程,并提到了在Kaggle手写数字识别比赛中应用的CNN模型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


前提: 在机器学习中谈的神经网络是值的 “神经网络学习”,或者说,是机器学习与神经网络这两个学科领域的交叉部分.

神经元的职责: 接受来自于其他神经元传输过来的信号,将接收到的总输入值与该神经元的阈值进行对比,通过激活函数处理以产生神经元的输出. 示意图如下所示.
在这里插入图片描述

1. 常见的激活函数,将线性函数用作神经元激活函数的缺陷。

(1). 阶跃函数
阶跃函数是理想的激活函数,其将输入值映射为输出值 “0” 和 “1” ,显然 “1” 对应兴奋,而 “0” 对应抑制.

但是,阶跃函数不连续,不光滑,所以实际中常用 “ S i g m o i d Sigmoid Sigmoid” 函数作为激活函数.

(2). S i g m o i d Sigmoid Sigmoid 函数
S i g m o i d Sigmoid Sigmoid 函数把可能在较大范围内变化的输入值挤压到 (0, 1) 输出值范围内,且函数连续、光滑. 表达式如下:
σ ( x ) = 1 1 + e − x \sigma (x) = \frac {1}{1+e^{-x}} σ(x)=1+ex1

但是呢…

  • 当输入稍微远离了坐标原点,函数的梯度就变得很小了,几乎为零。在神经网络反向传播的过程中,我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmod函数,这个链条上的微分就很小很小了,况且还可能经过很多个sigmod函数,最后会导致权重w对损失函数几乎没影响,这样不利于权重的优化,这个问题叫做梯度饱和,也可以叫梯度弥散。
  • 函数输出不是以0为中心的,这样会使权重更新效率降低。
  • sigmod函数要进行指数运算,这个对于计算机来说是比较慢的。

在这里插入图片描述
(3). t a h n tahn tahn 函数
tanh是双曲正切函数,tanh函数和sigmod函数的曲线是比较相近的. 表达式如下:
σ ( x ) = e x − e − x e x + e − x \sigma (x) = \frac {e^{x}-e^{-x}}{e^{x}+e^{-x}} σ(x)=ex+exexe

### 关于周志华机器学习第五章5.5节的内容解读 #### 5.5 集成方法 (Ensemble Methods)机器学习领域,集成方法是一种通过组合多个模型预测结果的技术,旨在提高整体性能并减少泛化误差。该章节主要探讨了几种重要的集成策略及其理论基础。 #### 提升算法(Boosting) 提升算法是一类迭代式的集成技术,在每一轮训练过程中赋予不同样本不同的权重,使得分类器更加关注之前被错误分类的数据点。AdaBoost作为最早也是最著名的代表之一,通过调整误分实例权值得到一系列弱分类器,并最终加权投票形成强分类器[^1]。 #### Bagging 和随机森林(Random Forest) Bagging即Bootstrap Aggregating, 是一种基于重采样的集成方式。对于给定数据集,bagging会创建若干子样本用于独立训练基估计量;而随机森林则是在决策树基础上进一步引入特征随机选取机制,从而降低过拟合风险并增强多样性。 #### Stacking Stacking 或堆叠泛化是一种更复杂的元学习框架,允许利用初级层多种类型的个体学习者输出作为次级层输入来进行更高层次的学习任务建模。这种方法能够充分利用不同类型模型的优势,达到更好的表现效果。 ```python from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10, random_state=42) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) rf_clf = RandomForestClassifier() ada_clf = AdaBoostClassifier() rf_clf.fit(X_train, y_train) ada_clf.fit(X_train, y_train) ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值