kathycxx34-优快云博客

原创 Datawhale X 李宏毅苹果书AI夏令营—进阶 task3

感受野加上参数共享就是卷积层（convolutional layer），用到卷积层的网络就叫卷积神经网络。下面这一段话一开始没看懂，但是后面和学长交流以后懂了。这段话的意思是:由于每一个卷积核的输出只是这个图像的一部分的信息。所以对于一个卷积层，其输出为64维，那么一个输入经过这个卷积层处理后，它的输出就是一个规模为64维的张量，如果想对这个张量再经过一个卷积层的处理，那么这个二次处理的卷积层的输入维度就得是64。就跟两个全连接层的参数矩阵一样，列数和行数相等。举个例子：

2024-09-03 18:48:57 1045

原创 Datawhale X 李宏毅苹果书AI夏令营—入门 task3

而验证集用于模型的选择，更具体地来说，验证集并不参与学习参数的确定，也就是验证集并没有参与梯度下降的过程。在简单的交叉验证过程中，我们已经把原数据划分为训练集、验证集和测试集，但由于并不是所有的数据都参与了模型训练（至少验证集没有），因此就存在数据信息利用不全的弊端；Data augmentation：根据问题的理解寻找符合题目要求的可能出现在训练集中的数据并把这些数据放在训练集中，作为锁定模型的训练点。训练集用来训练模型，即确定模型的权重和偏置这些参数，通常我们称这些参数为学习参数。实际上是优化的问题。

2024-09-03 15:20:41 458

原创 Datawhale X 李宏毅苹果书AI夏令营—进阶 task2

一开始学习率比较小是用来探索收集一些有关误差表面的情报，先收集有关 σ 的统计数据，等 σ 统计得比较精准以后，再让学习率慢慢爬升。书上的解释是σ的上标为 i，这代表参数 σ 与 i 相关，不同的参数的 σ 不同。σit 的下标为 t，这代表参数 σ 与迭代相关，不同的迭代也会有不同的 σ。但是在梯度下降法中，Grad，作为有大小和方向两个信息的向量，其大小（范数）却随着迭代次数的增加有小范围的波动。当学习率在平缓的地方不断增大的时候，会出现因为σ变得很小以后，σ作为分母，学习率的参数整体会突然变得很大。

2024-08-31 21:12:00 546

原创 Datawhale X 李宏毅苹果书AI夏令营—入门 task2

如果当作月份而不是四周来看的话，数据处理更加复杂，（如果月末有特殊规律的话，比如月末数据会增高这种的）但是28天，相对于五周35天而言，更加接近于一个月，是一个折中的方法。可是我们得出的结论是第六天前的数据权重比七天前的数据的权重更大。既然如此，引入新的模型。ReLU：ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即：f(x)=max(0,x)进一步扩展，如果要参考的x的数量超过了1，那么可以用矩阵的形式写出。

2024-08-31 18:37:54 312

原创 Datawhale X 李宏毅苹果书AI夏令营—进阶 task1

神经网络: 神经网络是一种模仿动物神经网络行为特征的数学模型，通过大量神经元节点之间的相互连接关系进行信息处理，并依靠相关算法来调整其内部参数，以达到处理信息的目的。批量标准化：BN通过对神经网络中每一层的输入进行标准化，使其更易于训练，减少了梯度消失和梯度爆炸等问题，并且可以加速神经网络的训练速度。当梯度为0，说明变化率为0，机器停止学习。通过书中的示例，可以得知，低维度空间中的局部极小值点，在更高维的空间中，实际是鞍点。不仅如此，损失不是只在局部极小值的梯度是零，还有其他可能会让梯度是零的点，比如。

2024-08-27 23:58:18 188

原创 Datawhale X 李宏毅苹果书AI夏令营—入门 task1

熵是混乱程度，那么当y是概率分布函数的时候，随机变量的取值不够稳定。在具体实验中会得到一系列的数据，这时候我需要用建模后得出的函数对数据进行拟合（有e拟合，线性拟合）。梯度下降（gradient descent）：，目标是寻找目标函数最小化时对应的自变量的值放在本案例中，将w（权重）看作自变量x，寻找L函数的最小值。与学习的步伐有关（两个函数值的间距）。DL：深度学习---一种机器学习方法---利用神经网络处理和解决数据---数据量大。ML：机器学习---寻找函数---数据驱动---数据量少。

2024-08-27 23:24:12 252

原创 Datawhale AI 夏令营学习笔记——机器学习竞赛——Task3（环境配不出呃呃呃上集）

在开始了task3的任务前。我阅读了一下优秀大佬的task2的学习笔记和官方提供的《数据竞赛入门讲义》。发现自己缺少了数据清洗这一步。数据清洗是很重要的，对于异常的数据要进行修正。在我读数据的时候，以target降序的方式看，发现了一些异常：不同type的情况下，都会出现target<0的情况，也就是用电量小于0。这似乎和题目所处的条件不符合，用电量怎么会小于零呢。所以也许是需要清洗的数据。数据清洗有两种方式：1.删除异常数据。2.替换异常数据。

2024-07-20 23:56:25 755

kathycxx的博客