wangweiwei2020的博客

节点 A 有 3 个邻居，节点 B 有 100 个邻居 → 无法像图像那样用“3×3 卷积核”统一处理。图的节点顺序可以任意打乱，但图的语义不变 → 传统神经网络（依赖输入顺序）无法直接处理。图中的节点没有天然的 (x, y, z) 坐标（可视化布局 ≠ 真实位置）。因为深度学习模型无法直接处理“图”这种非欧几里得、不规则的结构数据，两个节点之间的“距离”是最短路径长度（跳数），而不是欧氏距离。在社交网络中，“朋友的朋友”可能比地理上更近的人更“相关”。你不能说“节点 A 在节点 B 的正东方向”。

从这些复杂的连接关系中提取有价值的信息，而不仅仅是分析孤立的数据点。也就是，图数据挖掘 = 从“关系”中挖“知识”。图数据挖掘也叫做图数据机器学习。

知识抽取就是把“杂乱的文字”变成“结构化的知识”，让机器不仅能“读”，还能“懂”。原始句子：“特斯拉CEO埃隆·马斯克于2022年收购了推特。知识抽取结果：埃隆·马斯克（人物）特斯拉（组织）推特（组织）2022年（时间）(埃隆·马斯克, 担任, 特斯拉CEO)(埃隆·马斯克, 收购, 推特)事件类型：企业收购买家：埃隆·马斯克被收购方：推特时间：2022年。

过多的无关或冗余特征会增加模型复杂度，使模型“记住”训练数据中的噪声，从而在新数据上泛化能力变差。举个例子：如果你要预测一个人是否会贷款违约，那么“信用记录”很重要，“头发颜色”就不重要。保留它们不仅无益，反而有害。比如“年龄”还是“年龄”，不会变成“标准化后的年龄”或“年龄平方”。所以特征子集选择会优先保留那些和任务目标相关的特征。例如：同时包含“年龄”和“出生年份”是冗余的。特征越少，模型训练所需的时间和内存就越少。特征越少，越容易理解模型是如何做出决策的。特征的原始意义保持不变，容易理解和解释。

从原有的数据中删除不重要或不相关的属性，或者对属性重组来减少属性的个数。

首先，通过人工定义或学习类别的语义属性（如形状、颜色等），将类别映射到属性空间。然后，模型学习从输入数据到属性向量的映射。最后根据属性匹配来识别新类别。给定一张图片，如何提取区分其中目标类型的特征，即形成目标的表示。

条件随机场（Conditional Random Field, CRF） 是一种用于建模序列标注或结构化预测问题的判别式概率图模型。

*循环神经网络（Recurrent Neural Network, RNN）**是一种专门用于处理序列数据的神经网络结构。

把未知量伸长或者缩短到参考模式的长度。然后使用动态规划方法把被比较的数据扭曲或者弯折，时期特征与模型特征对齐。比如：DTW**隐马尔可夫模型（Hidden Markov Model, HMM）**是一种经典的概率图模型，用于建模含有隐藏状态的时序随机过程。

按时间排列的观测数据的序列。在进行数据挖掘时，必须考虑数据间存在的时间关系。DTW（Dynamic Time Warping，动态时间规整） 是一种用于衡量两个时序序列相似度的算法，特别适用于长度不同、速度不一致或存在时间偏移的时间序列。

在模式识别中，不变性指的是：当输入数据发生某种变换（如平移、旋转、缩放、光照变化等）时，模型的输出（如分类结果）保持不变。例如：一张猫的图片向左移动几个像素，模型仍应识别为“猫” → 平移不变性池化（Pooling）是卷积神经网络（CNN）中一种重要的下采样（downsampling）操作。

包含动量的随机梯度下降（Momentum Stochastic Gradient Descent, 简称 SGD with Momentum）是一种在标准随机梯度下降（SGD）基础上引入“动量”项的优化算法，旨在加速收敛、减少震荡，并帮助模型跳出局部极小值或鞍点。1）更新方向完全依赖当前梯度，容易产生高方差和震荡；2）在狭窄峡谷或非凸地形中收敛缓慢；3）容易陷入局部最优或鞍点。AdaGrad（Adaptive Gradient Algorithm） 是一种自适应学习率优化算法。

是指输入数据从输入层到达输出层并产生预测结果的过程。是根据输出结果和真实结果之间的差异，从输出单元开始，从后往前更新神经网络参数的过程。前向传播和反向传播组成了神经网络模型训练的一个循环闭合过程。（2）接下来，我们就来看看反向传播是怎么更新参数的？举一个具体的例子，帮我们加深理解。神经网络：一个三层网络（输入 → 隐藏 → 输出）节点1：输入层，输入标量 x=2节点2：隐藏层，z1 = w1x + b1, 激活后 a1 =σ(z1)​。

原因：虽然 Logistic 函数本身是非线性的，但是它不能建模复杂的非线性关系，只能处理线性可分的数据，是线性分类器。4.当类别数 K=2（即二分类）时，Softmax 函数在数学上等价于 Sigmoid 函数。线性回归难以建模处理二分类问题，而 logistic 回归能处理二分类问题，关于其原因，说法。C. Logistic 函数将加权输入进行“扭曲”，是一种非线性操作，因此能够建模非线性关系。其次，对比分类任务：标签是离散类别（如“猫”“狗”），不能直接相减，不能用 MAE。

2.“猫”的语义是由 d₁ 高（动物）、d₂ 低（非交通工具）、d₃ 低（不可吃）、d₄ 高（家庭宠物） 共同决定的；（3）向量的长度等于词典的大小，很好理解，词典的大小就是有多少个词，每个词有自己的位置，那么词的数量就是向量的长度。输入：周围 2n 个词（如窗口大小为 2，则输入“我 [ ] 吃苹果”中的“我”和“吃”、“苹果”）（5）语义相近的两个词语，在空间中的距离与其他词语的距离相同，难以体现其联系。知识指导决策和行动。假设词汇表 = [“猫”, “狗”, “汽车”, “苹果”]，大小为4。