BGMcat的博客

卷积神经网络演化史AlexNet模型结构贡献ReLU激活函数分布式GPU运算LRN（局部响应归一化），提高泛化能力重叠池化，池化窗的步长小于池化层的大小，在池化时产生重叠。正则化方法数据集增强dropout,随机关闭神经元实现代码import torchfrom torch import nnnet = nn.Sequential( # 这里，我们使用一个11*11的更大窗口来捕捉对象。 # 同时，步幅为4，以减少输出的高度和宽度。 #

简述卷积神经网络是一种经典的前馈神经网络，主要受生物学中的感受野的概念提出。感受野在生物体中广泛存在，一个感受野连接多个感受器细胞，这些感受器细胞共同决定了感受野是否兴奋。通过感受野的机制，生物体传入的信号数量会大大降低，同时也能很好的对输入信号进行特征提取。基本概念感受器与感受野感受器感受器即卷积核，在图像处理中也称为算子。一个卷积核包含与输入图像通道数目相同的过滤器，一个卷积核产生一个特征图。感受野特征图上的某个点能看到的输入图像的区域,即输入图像中每次与感受器进行运算的区域。特征图

最小二乘线性回归模型表示参数求解解析法数值优化法（梯度下降法）套索回归岭回归

二项logistic回归模型二项逻辑蒂斯回归，简称逻辑回归，也被称为对数几率回归，在回归模型中引入sigmoid函数，构成非线性回归模型，将回归模型的预测值利用单位阶跃函数，将预测值转换为离散值。模型的表示：sigmoid函数在一定程度上接近单位阶跃函数，但其单调可微，以替代单位阶跃函数的不连续。sigmoid函数的性质概率形式输出。sigmoid函数是单调递增的，其值域为(0，1)，因此使sigmoid函数输出可作为概率值。数据特征加权累加。 数据特征加权累加。对输入????取值

简述：⼈⼯神经⽹络（artificial neural network，ANN），简称神经⽹络（neural network，NN）。是⼀种模仿⽣物神经⽹络(动物的中枢神经系统，特别是⼤脑)的结构和功能的数学模型或计算模型，⽤于对函数进⾏估计或近似。激活函数非线性变换，将累加信号变换后输出，一般使用压缩函数。来限制振幅。作用：增强网络表达能力，没有激活函数就相当于矩阵相乘。一个神经网络中不一定只有一种激活函数，一般选择非线性激活函数，输出层激活函数取决于任务类型。常见的激活函数：后两个为现在常用的激

简介：支持向量机的一种与‘支持向量’有关的算法，基本模型的定义在特征空间上的间隔最大的线性分类器，按照任务又分为支持向量分类SVC和支持向量回归SVR线性可分下的SVC(硬间隔)线性可分：对于训练样本集{(???????? , ???????? ), … , (???????? , ???????? )}，存在一组（???? ，????），使得则训练集在i=1-N上线性可分。支持向量：离超平面最近的两类样本。基于最优化理论，最优分类超平面应满足：(1)该超平面分开了两类；(2)该超平面最大

近来发现对矩阵求导差太多了，就找了很多资源，发现csdn上有人居然把转载别人的东西，还定为收费的，我直接去找原版了，供大家共同进步。他写的相当的好，梳理了一个方向，真心不错。下面的照片是两篇的全部内容，截图插眼，以防万一。转载自：知乎-长驱鬼侠matrixcalculus直接查公式的网站：http://www.matrixcalculus.org...

简述：使用两种数据集，多种方法，多向对比分类任务使用手写数字数据集，小批量梯度下降法，全连接神经网络的输入层为784个神经元，隐藏层为100个神经元，输出层10个神经元。损失函数为交叉熵代价函数，激活函数为sigmoid函数。回归任务使用自构随机数数据集，全连接神经网络的输入层为1000个神经元，隐藏层为100个神经元，输出层10个神经元。损失函数为均方误差代价函数，激活函数为y=x函数。一、 回归任务使用自构随机数数据集numpy实现import numpy as npimport t