2301_79679684的博客

前馈神经网络可以看作一个复杂的函数，每次的输入都是独立的，即网络的输出只依赖于当前的输入。循环神经网络在学习过程中的主要问题是：由于梯度消失或梯度爆炸问题，简单循环神经网络实际上只能学习到短期的依赖关系，很难建模长时间间隔的状态之间的依赖关系，称为。简单循环网络 SRN：是只有一个隐藏层的神经网络，但（区别于两层的前馈神经网络，）增加了从隐藏层到隐藏层的反馈连接。为向量元素乘积，里面的f，i，o分别是遗忘门、输入门、输出门（详见下面的门控机制），用来控制信息传递的路径。

在本章中，我们主要关注采用误差反向传播来进行学习的神经网络。神经元是构成神经网络的基本单元。主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。现代神经元中的激活函数通常要求是连续可导的函数。激活函数。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：（1）连续且可导（允许在少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法（比如梯度下降法）来学习网络参数。（2）激活函数及其导函数尽可能简单，可以提高网络计算效率。（3）激活函数的导函数的值域要在一个合

Iris数据集，也称为鸢尾花数据集，包含了3种鸢尾花类别（Setosa、Versicolour、Virginica），每种类别有50个样本，共计150个样本。其中每个样本中包含了4个属性：花萼长度、花萼宽度、花瓣长度以及花瓣宽度，本实验通过鸢尾花这4个属性来判断该样本的类别。

Logistic回归可以有效地解决二分类问题，但在分类任务中，还有一类多分类问题，即类别数C大于2 的分类问题。Softmax回归就是Logistic回归在多分类问题上的推广。使用Softmax回归模型对一个简单的数据集进行多分类实验。

主要任务：实现一个Logistic回归模型，并对一个简单的数据集进行二分类实验。先构建一个简单的分类任务，并构建训练集、验证集和测试集。本任务的数据来自带噪音的两个弯月形状函数，每个弯月对一个类别。我们采集1000条样本，每个样本包含2个特征。①数据集构建函数：具体讲解在代码内部.②随机采集1000个样本，之后进行可视化。③将1000条样本数据拆分成训练集、验证集和测试集，其中训练集640条、验证集160条、测试集200条。现在，完成了数据集的构建Logistic回归是一种常用的处理二分类问题的线

这篇文章对第二章机器学习的讲解很清晰。接下来，按照章节顺序讲一下我自己的理解；

回归问题，分类问题（人脸识别问题，垃圾邮件检测等等），图像聚类（无监督学习），强化学习（AlphaGo）通过与环境进行交互学习。下面是集中常见的机器学习类型：监督学习的典型问题是回归和分类问题，无监督学习的典例问题是聚类，降维，密度估计。

设（表示 yy 对第 ii 层输出的梯度）：。

NumPy 数组是一个。

机器学习：让计算机从数据中进行自动学习，得到某种知识（或规律）。让计算机自动学习识别是非常困难的，所以采用另一种思路，即让计算机“看”大量的样本，并从中学习一些经验，之后依据这些经验来识别新的样本。

深度学习是一个机器学习问题，需要从有限样例中通过算法总结出一般性规律，然后应用到新的未知数据上。是机器学习的一个分支。