山野有雾都-优快云博客

原创斯坦福大学CS231n Lecture 3 笔记：正则化与优化算法

本文系统梳理了深度学习图像分类任务的核心挑战与优化方法。首先剖析了图像分类面临的视角、光照、形变、遮挡、背景杂乱和类内差异六大挑战。接着从k近邻过渡到线性分类器，重点解读了损失函数的设计原理与L1/L2正则化机制。在优化算法方面，深入分析了SGD的局限性，并系统阐述了带动量SGD、RMSProp、Adam及AdamW的改进思路，最后讨论了学习率调度策略与二阶优化方法，为实践提供了全面指导。

2026-04-24 01:02:24 456

原创斯坦福大学CS231n Lecture 2 笔记：基于线性分类器的图像分类

图像分类是计算机视觉的基础任务，旨在为输入图像分配类别标签。该任务面临七大挑战：视角变化、光照变化、背景杂乱、遮挡、形变、类内差异和上下文理解。传统方法如最近邻分类器（KNN）通过距离度量匹配相似图像，但存在速度慢和语义理解不足的缺陷。线性分类器通过权重矩阵和偏置项实现类别得分计算，但只能处理线性可分数据。Softmax分类器将线性输出转化为概率分布，采用交叉熵损失函数优化模型。正确的超参数选择需通过验证集评估，避免数据泄露。

2026-04-20 23:17:27 401

原创斯坦福大学CS231n Lecture 1 笔记：一篇文章带你了解深度学习发展史

支撑这一切的，是数学、神经科学、计算机科学、生物学、心理学、物理学等多学科的合力：数学搭起算法骨架，神经科学揭秘人类视觉的底层逻辑，计算机科学实现技术落地，其他学科则从不同维度为机器 “看懂世界” 提供灵感，跨学科融合才让机器视觉的实现成为可能。只需输入文字描述，比如 “牛油果形状的扶手椅”“桃子形状的扶手椅”，DALL・E 就能生成对应的高质量图像，让机器能根据人类的语言想象，生成全新的视觉内容，将深度学习在 “视觉生成” 领域的能力推向了新高度。正是这三者的共同进步，才推动了深度学习的爆发式发展。

2026-04-02 00:56:40 562

原创动手学深度学习（李沐）---数据预处理

本文介绍了使用pandas预处理数据并转换为张量格式的方法。首先通过创建CSV文件构建示例数据集，然后使用pandas读取数据并处理缺失值：数值型缺失值用列均值填充，类别型缺失值转换为虚拟变量。最后将处理后的数据转换为PyTorch张量格式，为后续深度学习建模做好准备。文章展示了pandas与张量的兼容性，并提供了处理缺失数据的两种基本方法（插值和删除）的具体实现示例。

2026-02-11 22:48:33 356

原创动手学深度学习（李沐）---数据操作

下面的例子分别演示了当我们沿行（轴-0，形状的第一个元素）和按列（轴-1，形状的第二个元素）连结两个矩阵时，会发生什么情况。也就是说，如果我们的目标形状是（高度,宽度），那么在知道宽度后，高度会被自动计算得出，不必我们自己做除法。在上面的例子中，为了获得一个3行的矩阵，我们手动指定了它有3行和4列。在下面的例子中，我们使用逗号来表示一个具有5个元素的元组，其中每个元素都是按元素操作的结果。如果只想知道张量中元素的总数，即形状的所有元素乘积，可以检查它的大小（size）。张量中的每个值都称为张量的。

2026-02-11 21:45:25 1097