2202_75674969的博客

在机器学习和深度学习中，过拟合（Overfitting）和欠拟合（Underfitting）是模型训练过程中常见的两种问题，直接影响模型的泛化能力（即对未见过的数据的预测能力）。

全零初始化二、随机初始化1. 均匀分布初始化原理：从均匀分布 U[-a, a] 中采样权重公式：W∼U[−1nin,1nin]W \sim U\left[-\frac{1}{\sqrt{n_{\text{in}}}}, \frac{1}{\sqrt{n_{\text{in}}}}\right]W∼U[−nin​​1​,nin​​1​]其中 n_in 是输入神经元数特点：2. 正态分布初始化原理：从高斯分布采样公式：σ=0.01（常用小方差避免激活值饱和）\sigma

如果一个神经元的加权和输入在训练过程中大部分时间都小于0（例如，学习率过高或负的偏置过大），那么它的梯度在反向传播时始终为0，导致该神经元的权重无法再更新，永远“死亡”（输出恒为0，不再参与训练）。图像是一个简单的折线：在原点(0,0)左侧是水平线（y=0），在原点右侧是一条45度角的直线（y=x）。在反向传播过程中，梯度会逐层连乘这些接近0的小数，导致深层网络的梯度变得非常小甚至消失，使得网络难以训练（权重更新缓慢或停滞）。：当某个输入远大于其他时，其对应的输出趋近于 1，其他趋近于 0，梯度接近 0。

深度学习是机器学习的一个分支，核心是通过多层非线性神经网络自动学习数据的抽象特征，无需人工设计特征。与传统机器学习相比，它能处理更复杂的数据（如图像、文本、语音），且随着数据量和计算能力的提升，性能会显著提高。端到端学习：直接从原始数据学习目标输出层次化特征提取：底层学简单特征（边缘），高层学复杂特征（物体部件）大数据驱动：需要海量训练数据表示学习：自动发现数据的内在表示。

本文介绍了自动微分的核心概念与实现方法。主要内容包括：1）计算图构建，通过张量运算动态记录依赖关系；2）关键属性如requires_grad控制梯度跟踪，grad存储梯度值；3）反向传播机制，使用backward()计算梯度并应用链式法则；4）梯度计算类型，涵盖标量/向量/矩阵对向量的梯度计算；5）梯度上下文控制，包括no_grad()禁用梯度、梯度累加与清零操作；6）实际应用示例，如雅可比矩阵计算和梯度下降优化。这些技术为深度学习模型的参数优化提供了数学基础与工程实现。

PyTorch是由Meta开发的开源深度学习框架，以其灵活性、动态计算图和易用性著称。其核心数据结构Tensor（张量）支持GPU加速、自动微分和丰富的数学运算。Tensor可通过多种方式创建，包括从列表生成、随机初始化、线性序列生成，以及全零/全一张量等。关键属性包括形状、数据类型、存储设备等，并支持CPU/GPU迁移。类型转换可通过.to()方法实现，支持float32、int32、bool等多种类型转换。PyTorch的动态计算图和自动求导机制使其成为研究和工业应用的理想选择。

CUDA和cuDNN安装指南 CUDA是NVIDIA开发的并行计算平台，用于在GPU上执行通用计算任务。cuDNN是基于CUDA的深度学习加速库，专门优化神经网络核心操作。安装需按顺序：先安装NVIDIA驱动→CUDA Toolkit→cuDNN。关键注意版本兼容性，确保驱动、CUDA、cuDNN和深度学习框架版本严格匹配。安装后可通过命令行验证，如nvcc -V检查CUDA版本。PyTorch等框架安装时需选择与CUDA版本对应的包。cuDNN需手动下载并复制到CUDA安装目录完成集成。