dsabfasd-优快云博客

原创深度学习笔记day3-----导数和向量化编程

每次更新梯度的时候，每个样本分别计算一次获得m个w1，w2,…,b的梯度,对每个参数的梯度求和，再求平均值。其中w的形状为(n,1),x的形状为(n,m),n为特征数量，m为样本数量。一个函数在某一点处的变化率，即输入值发生微小变化时，函数输出值的变化量。避免for循环,Numpy可以进行快速的向量化计算。其中Y为每个样本的目标值（0，1），即。，我们想要求 y 对 x 的导数。所以初始化，假设有n个特征，m个样本。,得出结果为(1,m)大小的矩阵。计算时，将w转置成(1,n),向量获取每个样本的加权和。

2024-11-15 17:19:15 1669

原创深度学习笔记day2----逻辑回归的损失函数和梯度下降算法

函数的梯度指出函数的最陡增长方向，则沿梯度的反方向，函数值下降的快。寻找合适的w和b以最小化代价函数。标识学习速率，即没更新w的步伐长度，学习率过大可能导致超过最小值，学习率过小又可能导致训练过程过慢。,需要损失越小,则y必须越大，即y越趋近于1。,需要损失越小,则y必须越小，即y越趋近于0。损失函数主要用于衡量预测结果与真实值的误差。代价函数主要是衡量全体样本的损失平均值。目的：找到损失函数最小的值。如果p = 1,则损失为。如果p = 0,则损失为。逻辑回归常用损失函数。参数w,b更新公式为。

2024-11-14 17:54:16 1620

原创深度学习笔记day1-----感知机和逻辑回归

阶跃函数的输出只有两种可能，0或1。当输入的加权和超过某个阈值（通常是0）时，激活函数输出1，表示神经元被激活；感知机通常由一个或多个输入，一个输出和一个或多个权重组成。在感知机中，激活函数是一个数学函数，它决定了一个神经元是否应该被激活，即是否应该向下一个层传递信号。将每个输入乘以其对应的权重，然后将所有乘积相加，再加上偏置 b，n是输入的数量。一个简单的感知机，常用的激活函数是阶跃函数，它将输出限制为两个值之一，0或1。逻辑回归主要用于二分类的情况，即结果只有两种可能的概率，是或否。

2024-11-13 16:44:38 1592 1