Go_ahead_forever的博客

KNNK近邻算法) 是一种非参数监督学习算法，既可用于分类，也可用于回归。它是一种惰性学习（Lazy Learning）算法，这意味着它在训练阶段几乎不做任何计算，而是将所有训练数据存储起来，直到需要做出预测时才开始计算。K-Means 算法是一种经典的无监督学习算法，主要用于聚类 (Clustering)。它的目标是将一个数据集中的 N 个数据点划分为预先设定的 K 个簇 (Cluster)，使得每个数据点都属于离它最近的聚类中心 (Centroid)所代表的簇。

一种简单而强大的信息整合策略，它通过直接连接不同来源的特征来拓宽网络的“信息面”，为后续的网络层提供更丰富、更原始的数据原料，让其自行学习最优的特征组合方式，从而提升模型对复杂模式和关系的捕捉能力。它在现代网络架构（如 U-Net, Inception, DenseNet, 多模态模型）中扮演着不可或缺的角色，是构建复杂、高性能神经网络的基础组件之一。

Transformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管Transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。Transformer作为编码器－解码器架构的一个实例，其整体架构图如下展示。正如所见到的，Transformer是由编码器和解码器组成的。

对于注意力机制我觉得最直观的一个理解是这样的：一个物体摆在面前，这个物体就可以认为是上面所说的一个值（Value,V），然后这个物体有一定的自然属性，这就是他的键（Key,K），本身键和值是一一对应的，而当我们加上一定的主观意识（我们平时生活中遇到这个物体时能够经历的一些过程），这个意识就是查询（Query,Q），加上意识以后经过我们大脑的一个处理，我们脑中就会形成对于这个物体的另外一个认识（值（幸运的是，人类的祖先已经从经验（也称为数据）中认识到“并非感官的所有输入都是一样的”。这里重点解释一下为什么。

消融实验是一种科学研究方法，通过逐步移除模型、算法或系统中的某个组件（如模块、层、特征、数据等），观察其对整体性能的影响，从而验证该组件的必要性和有效性。其名称来源于医学领域的“消融术”（切除部分组织以研究功能），在计算机视觉、机器学习和深度学习中被广泛用于分析模型设计。

线性回归从0到1实践