女王の专属领地

⚠️ **本节重点内容**：1. 可视化模型所学：过滤器可视化、最终层特征可视化、激活可视化2. 了解输入像素：识别重要像素、通过反向推理识别显著性、引导逆推生成图像、梯度上升可视化特征3. 对抗性扰动4. 风格迁移：特征反转、深度梦境、纹理合成、神经风格转移

⚠️ **本节重点内容**：1. 语义分割（Semantic Segmentation）2. 目标检测（Object Detection）3. 实例分割（Instance Segmentation）

⚠️ **本节重点内容**：1. 视频分类2. 3D CNN3. 双流网络4. 循环卷积网络5. 多模态视频理解

CS231n 是顶级院校斯坦福出品的深度学习与计算机视觉方向专业课程，核心内容覆盖神经网络、CNN、图像识别、RNN、神经网络训练、注意力机制、生成模型、目标检测、图像分割等内容。课程最后一版公开课视频为2017版，但是课程PPT最新的已经更新到2023版，见「2023最新CS231NPPT」，此外，需要关注进阶技术内容的同学可以看一下「密歇根EECS498：深度学习与计算机视觉课程（2019）16世纪最早的相机：暗箱。

KNN 模型中训练过程中没有使用任何参数，只是单纯的把训练数据存储起来（参数 k 是在预测中使用的，找出k个接近的图片，然后找出标签最多的，并且k是超参数，是人为设定的）。与之相对的是参数模型，参数模型往往会在训练完成后得到一组参数，之后就可以完全扔掉训练数据，预测的时候只需和这组参数做某种运算，即可根据运算结果做出判断。线性分类器是参数模型里最简单的一种，但却是神经网络里很重要的基础模块。① 评分函数（score function）：原始图像数据到类别分值的映射。

上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。由图可知自适应学习率方法即 Adagrad, Adadelta, RMSprop, Adam 在这种情景下会更合适而且收敛性更好。如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。

类比人类大脑神经元结构：输入、权重、激活函数、计算、输出；大脑的基本计算单位是神经元（neuron）。人类的神经系统中大约有 860 亿个神经元，它们被大约 1014 - 1015 个突触（synapses）连接起来。上方是一个生物学的神经元，下方是一个简化的常用数学模型。每个神经元都从它的树突（dendrites）获得输入信号，然后沿着它唯一的轴突（axon） 产生输出信号。轴突在末端会逐渐分枝，通过突触和其他神经元的树突相连。

本章（lecture5）花了很大篇幅介绍了卷积网络发展进程和基础的一些信息，这里不做详细记录，感兴趣可以直接看PPT！我们直接结合第五节的部分内容进入卷积神经网络部分Lecture6。

1. 初始化：激活函数选择、数据预处理、权重初始化、正则化、梯度检查2. 训练动态：监控学习过程、参数更新、超参数优化3. 模型评估：模型集成（model ensembles）、测试、扩增、迁移学习

RNN 在架构设计方面具有很大的灵活性；Vanilla RNNs 虽然简单，但效果不佳；常见的是使用 LSTM 或 GRU：它们的相加相互作用改善梯度流RNN 中的梯度后向流动可以爆炸或消失。爆炸是通过梯度剪切来控制的。消失通过加性相互作用来控制（LSTM）更好/更简单的架构是当前研究的热门话题、以及序列推理的新范式需要更好的理解（理论和经验）。

⚠️ **本节重点内容**：1. attention注意力2. transformer