onlymscn的博客

自注意力机制是Transformer架构的核心组件，通过计算序列元素间的关联性实现上下文建模。其原理是将输入序列转换为Q、K、V矩阵，通过点积计算注意力分数，经softmax归一化后加权融合信息。该机制支持并行计算，能捕获长距离依赖，但存在计算复杂度高（O(n²)）和缺乏位置感知的局限。典型应用包括多头注意力（提升表征能力）和位置编码（引入顺序信息），广泛应用于NLP（BERT/GPT）、CV（ViT）等领域。优化方向涵盖稀疏注意力、高效实现（如FlashAttention）和跨模态融合等前沿研究。

反向传播是深度学习的核心算法，通过链式法则高效计算神经网络各层参数的梯度。该技术包含前向传播（计算输出和损失）和反向传播（逐层求导）两个阶段，可自动优化模型参数。现代框架（如PyTorch）已实现自动微分，但需注意梯度消失/爆炸等问题，可通过ReLU、BatchNorm等方法缓解。反向传播适用于CNN、RNN等复杂网络，并支持梯度裁剪、混合精度等优化技术。理解其原理有助于模型调试与性能提升，该技术也拓展至可微编程等前沿领域。

监督学习与非监督学习是机器学习的两种主要方法。监督学习利用带标签的数据训练模型，适用于分类、回归等明确任务，如图像识别、金融风控等；非监督学习则分析无标签数据，用于聚类、降维等探索性任务，如客户分群、异常检测。两者在数据需求、任务目标和评估方式上存在显著差异：监督学习依赖标注数据，预测准确但成本高；非监督学习无需标注，能发现隐藏模式但结果较难评估。实际应用中常结合使用，并发展出半监督学习等混合方法。选择时需考虑数据条件、业务需求及成本效益。

摘要：激活函数是神经网络的核心组件，用于引入非线性特性，使网络能够拟合复杂函数关系。常见激活函数包括Sigmoid（适用于二分类）、Tanh（以0为中心）、ReLU（计算简单但存在"死亡神经元"问题）及其变种LeakyReLU和ELU，以及多分类使用的Softmax。实际应用中，隐藏层推荐使用ReLU及其变种，输出层根据任务类型选择相应函数。新型激活函数如Swish、Mish在某些场景表现更优。激活函数选择需结合网络深度、任务需求及计算效率综合考虑，通常配合归一化技术使用以获得更好效果。

摘要：归一化是机器学习中重要的数据预处理步骤，主要用于解决特征量纲差异问题。常见方法包括Min-Max归一化（将数据映射到[0,1]区间）和Z-score标准化（转换为均值为0、标准差1的分布）。归一化能加快模型收敛、提升精度，特别适用于KNN、神经网络等算法。实际应用中需注意：训练集和测试集要分开处理、保存归一化参数、处理异常值等。不同场景可选择不同方法，如RobustScaler适合异常值较多的情况。归一化前需先完成数据清洗和数据集划分工作。