小浪宝宝的博客

梯度下降法的目标是为了求解损失函数JJJ，有三要素，1是起始点；2是梯度，找到方向，一只减小；3是学习率。wt1wt−α∇Jwt1​wt​−α∇J​本节介绍了RMSProp/AdamDelta两种二阶动量优化方法，几乎同一时期提出的梯度下降算法的变体，动态调整学习率。基本思路：时序累加修改二阶动量，动态调整学习率。定义一个简单的模型，维度为8的一层全连接网络，激活函数为ReLU函数。# 定义一个简单的模型。

出现报错“Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.”或者在Jupyte中调用。如果是在虚拟环境DeepLearning中，就删除…\Anaconda\envs\DeepLearning\Library\bin目录下的"libiomp5md.dll"文件。如果是在base环境下就删除…\Anaconda\Library\bin目录下的的"libiomp5md.dll"文件。

定义三种不同的模型，分别对应过拟合、正常和欠拟合。欠拟合使用一个线性回归模型，输入维度为1，输出维度为1，线性回归模型没有隐藏层，也没有激活函数，所以它肯定无法很好地拟合抛物线数据；正常情况下使用包含8个神经元的隐藏层，输入输出维度仍都是1；过拟合用一个比正常情况更加复杂的多层感知机，神经元每一层有256个，隐藏层的激活函数都是用的ReLU函数。# 定义线性回归模型（欠拟合）# 定义损失函数# 定义训练和测试误差数组# 遍历每类模型# 定义优化器# 每类模型的训练和测试误差# 迭代训练。

jupyter在调用matplotlib.scatter时出现"The kernel for xxx.ipynb appears to have died. It will restart automatically."提示，并停止运行。

  神经网络是一种数学模型，下图是一个最简单的神经元，通常用带有输入输出的圆圈来表示，虽然其名为神经元，但是其内在是线性模型。  神经元模型用数学公式表示为y=f(∑i=1nwixi+b)y=f(\sum_{i=1}^{n}w_ix_i+b)y=f(∑i=1n​wi​xi​+b)，其中wixi+bw_ix_i+bwi​xi​+b是直线方程，www为斜率，也被称为神经元连线上的权重，整个式子描述的是从输入的x1x_1x1​至xnx_nxn​到输出yyy之间的映射关系。其中bbb截距，是bias的首字母；n

CUDA全称：Compute Unified Device Architecture。显卡支持：通常是英伟达的Geforce或Quadro系列显卡。注意：根据电脑显卡驱动的版本，安装对应支持的CUDA版本。一个用于科学计算、数据分析和机器学习的Python发行版。包含了常用的科学计算、数据分析和机器学习库。通过一个简单的包管理器（conda）安装和管理。

内积还可以表示两个向量的线性相关程度，比如将两个向量规范化得到单位向量，二者的内积就是夹角值的余弦，越接近于1则二者更相关，等于0则二者正交（垂直），二者线性无关。Maximum Likelihood Estimation，MLE：利用已知的样本结果，反推最优可能导致这样结果的参数，即找到参数的最大概率取值。概率是个人的主观概念，表面我们对事务的相信程度，通过观测得到的数据对结果进行更新，从而得到更为准确的估计。单位向量：是模长固定为1的向量，它通常用来表示的是向量在空间中的方向，而不是大小。