m0_64006292的博客

权重惩罚方式L1正则化使用权重的绝对值之和来惩罚较大的权重值。L2正则化使用权重的平方和来惩罚较大的权重值。特征选择L1正则化倾向于产生稀疏解，即部分权重值为0，这有助于特征选择。L2正则化倾向于使所有权重值都非零，但值较小，有助于模型稳定性和泛化能力。适用场景L1正则化适用于特征数量很大，需要进行特征选择的情况。L2正则化适用于特征数量适中，可能存在多重共线性的情况。这一行代码是在配置神经网络模型的训练过程时指定使用的优化算法及其相关参数。

高斯核是一个二维的权重矩阵，其值由高斯分布函数生成。该函数的数学表达式为:

每种方法都有其特点和适用场景，选择哪种方法取决于你的问题规模、资源约束以及你愿意投入的时间。例如，如果你的超参数空间很小，你可以考虑使用网格搜索；如果超参数空间很大，随机搜索可能是更好的选择；而对于复杂的优化问题，贝叶斯优化和遗传算法通常能够找到更优的解决方案。最优超参数采用了随机搜索的超参数优化方法，使预测准确率提高了10%左右以下是MNIST手写数字识别，并且加入了随机搜索的超参数优化方法。# 导入NumPy库，用于数值计算。

Python中的字典、列表和数组是三种常用的数据结构，它们各自有不同的用途和特性。字典。

1）采用纯python语言实现不能调用pytorch库函数。2）绘制损失函数变化曲线。

卷积层和池化层都是深度学习中处理图像数据的重要组成部分。卷积层通过滤波器检测图像中的特征，而池化层通过减少特征图的尺寸来降低计算量和过拟合风险。通过这些层的组合使用，我们可以构建出能够处理复杂图像任务的强大神经网络模型。im2col是一种在卷积神经网络 (CNN) 中用于提高卷积层计算效率的技术。它的基本思想是将输入图像的一部分转换为列向量，从而使得卷积运算可以转换为矩阵乘法的形式。这种方法可以显著加速卷积操作，并且在现代深度学习框架中广泛使用。假设有一个 3x3 的输入图像，卷积核大小为 2x2。通过。

总的来说，这段代码实现了深度学习模型的标准训练流程，包括学习率调整、训练与验证、性能监控、最佳模型保存以及最终模型的保存。：创建了一个学习率调整器，每10个epoch将学习率乘以0.5，这是一种常见的学习率衰减策略，用于在训练过程中逐渐减小学习率，以帮助模型收敛。为训练和验证数据集创建了数据加载器，设置了批量大小为32，并在每个epoch中打乱数据顺序，以提高模型训练的泛化能力。，我们没有进行梯度清零和参数更新，因为验证过程的目的是评估模型性能，而不是进行训练。

整个流程就像是准备食材做一道菜：我们先从冰箱里拿出我们要做的菜的所有原料（加载数据），然后挑出我们最关心的那个食材（分离目标变量），接着把不需要的部分扔掉（删除目标列）。：接下来，我们从训练数据中找出我们最关心的一列数据，也就是乘客是否在泰坦尼克号沉船事件中存活（'Survived'），我们把这一列单独拿出来，因为这是我们想要预测的结果。我们把训练数据中的 'Survived' 列删除，只留下其他的特征列。：对于数值类型的列，如果有些数据缺失了，我们就用所有已知数据的中间值（中位数）来填补这些缺失的数据。

感知机。

import cv2# # 读取图像# image = cv2.imread('D:\study pic\down.jpg') # 替换为你的图像文件路径# # 获取原始图像的尺寸# # 计算新的尺寸，这里我们将其缩小到原来的一半# # 使用cv2.resize()函数缩小图像# # 显示原始图像和缩小后的图像# # 等待按键事件当你使用cv2.imread()函数从文件中加载一幅图像后，得到的image变量实际上是一个NumPy数组，它表示图像的数据。

使用 TensorBoard 通常需要在训练代码中添加适当的记录语句，将需要监控的数据写入特定的日志目录，然后通过命令行启动 TensorBoard 服务来查看可视化结果。总的来说，TensorBoard 极大地增强了对深度学习模型训练过程的洞察力，有助于更高效地开发和优化模型。：展示参数（如权重、偏置）的直方图和分布变化，有助于分析模型的学习情况和是否存在梯度消失或爆炸等问题。：对于生成嵌入向量的模型（如词嵌入），可以直观地观察向量的分布和关系。：帮助理解模型的架构，包括各层的类型、连接方式和参数数量。

尺度空间是图像通过高斯滤波器在不同标准差（σ）下的一系列表示。每一个标准差对应一个模糊版本的图像，这些图像构成了一个连续的尺度空间。

在直方图均衡化过程中，原始图像的直方图（即像素强度分布）被转换成一个更均匀的分布。通过这种转换，可以增加图像中不同灰度级的数量，并使得每个灰度级出现的概率大致相等，从而增强图像的对比度和细节。通过这种方式，直方图均衡化能够扩展图像的动态范围并提高对比度，从而让图像看起来更加清晰。比如说，如果照片大部分区域都很暗，那么直方图中靠近左边（代表低亮度）的部分就会有比较高的“山峰”；假设我们有一张黑白照片，直方图就会统计出画面中从最黑（0 亮度）到最白（255 亮度）每个亮度级别有多少个像素。经过直方图均衡化后，

out=W*x+b计算输入 x 的梯度 dx：通过 dout与 W 的转置相乘得到。计算权重 W 的梯度 dW：通过 x 的转置与 dout 相乘得到。计算偏置 b 的梯度 db：通过对 dout 沿着样本轴求和得到。1Momentum概念Momentum是一种加速梯度下降的方法，它通过引入动量的概念来加速收敛过程。在梯度下降中，每次更新权重时都会根据当前梯度的方向和大小来移动。Momentum 方法则会考虑之前几次梯度的方向，使得更新更加平滑和稳定。工作原理。

【代码】24.8.13学习笔记。

【代码】24.8.19学习笔记（MNIST，）

在PyTorch中，是一个非常重要的工具，用于高效地加载和预处理数据。它允许你以批处理的方式迭代数据集，并且可以轻松地添加数据增强、并行化处理等功能。下面是一些关于的关键概念和如何使用的简要说明：Batching（批处理）:Shuffling（随机化）:Parallelism（并行化）:Custom Data Loading（自定义数据加载）:

反转变换：反转图像的明暗，适用于提高某些情况下图像特征的可见性，比如黑白图像的轮廓检测。对数变换：增加图像暗部的对比度，使暗部细节更清晰，适合于增强图像整体的视觉效果。幂次变换（也称为伽马校正或伽马变换）是数字图像处理中一种非常有用的非线性变换技术，它可以通过调整图像的亮度和对比度来增强图像的视觉效果。与对数变换类似，幂次变换也可以用于扩展或压缩图像的亮度范围，但它提供了一种更为灵活的方式来调整图像的对比度。二项检验：用于检验二分类数据是否符合预期的比例。t 检验。

三角法：基于直方图的形状来确定阈值。迭代法：通过迭代过程逐步逼近最佳阈值。大津法：寻找使类间方差最大的阈值。自适应阈值：根据局部亮度变化来确定每个区域的阈值。

实例化类（代码图1），创建一个两层神经网络模型。输入层大小为784（对应28x28像素的图像），隐藏层大小为50，输出层大小为10（对应10个数字类别）。