KingoKing的博客

本质是约束优化：通过添加正则项（如 L1/L2 范数）限制模型复杂度。：通过正交变换将数据转换为一组线性无关的主成分（方差最大的方向）用有向无环图（DAG）表示因果关系，节点是变量，边表示直接依赖。：通过随机采样估计复杂问题的解，适用于解析方法难以处理的场景。：用图结构表示变量间的概率依赖关系，简化复杂联合分布的建模。用无向图表示变量间的软约束（如相关性），边表示无向依赖。：将矩阵分解为正交矩阵 Q 和上三角矩阵 R 的乘积。：变量消去法（逐步求和消元）、信念传播（消息传递）。

解码器同样由多个堆叠的解码器层构成，每个解码器层除了包含多头注意力机制和前馈神经网络外，还包含一个掩码多头注意力机制，用于确保在生成当前位置的输出时，只能依赖于之前已经生成的输出。每个头都有自己独立的参数，能够学习到不同的特征和依赖关系，最后将多个头的输出拼接在一起，作为多头注意力机制的最终输出。：表示实体之间的关联，是连接实体的边。：为了减少模型的存储和计算成本，采用模型压缩技术，如剪枝（去除不重要的连接或参数）、量化（将参数表示为低精度数据类型）等，在不显著降低模型性能的前提下提高模型的效率。

传统算法：逻辑回归基于线性回归用 Sigmoid 函数将结果映射到 0 - 1 进行分类，推导损失函数并使用梯度下降求解。决策树根据信息增益或基尼指数选择分裂特征，剪枝避免过拟合。支持向量机寻找最大间隔超平面，核函数将数据映射到高维空间使数据可分，常用核函数有线性、多项式、高斯核。

特征图是卷积神经网络在对输入数据进行卷积等操作后得到的输出结果，它是一种数据表示形式，包含了输入数据在经过卷积层的滤波器（卷积核）处理后所提取到的特征信息。每一个特征图可以看作是对输入数据某一方面特征的可视化呈现，不同的特征图可能代表了不同类型的特征，如边缘、纹理、颜色等。

一、AI 基础理论（一）深度学习神经网络基础：神经元模型结构与计算、常见损失函数选择、优化算法原理及超参数影响CNN：卷积操作细节及对特征图影响、池化作用、改进型架构创新点RNN 及其变体：梯度问题原因与解决、LSTM 和 GRU 内部机制、注意力机制应用GAN：生成器与判别器对抗原理、在图像等领域的应用及挑战（二）机器学习传统算法：逻辑回归推导与多分类、决策树构建与剪枝、支持向量机原理与核函数无监督学习：聚类评估指标计算与意义、降维算法应用、高斯混合模型原理。