11、自然语言处理与图像识别中的机器学习技术

自然语言处理与图像识别中的机器学习技术

在机器学习领域，Word2vec和卷积神经网络（CNN）是两个非常重要的技术，分别在自然语言处理和图像识别中发挥着关键作用。下面将详细介绍这两种技术的相关内容。

Word2vec模型的问题与实现

在使用Word2vec模型时，会遇到一些常见问题，需要采取相应的解决措施。

常见问题及解决方法

• 高频词问题 ：像“the”这类高频词在词汇表中出现频率极高。若不处理，输出结果中高频词会大量出现，导致多数输出为高频词而非其他词汇。解决办法是对训练数据集中高频词的出现次数进行惩罚。具体来说，选择一个词的概率计算公式如下：
  [P(w_i) = \left(\sqrt{\frac{z(w_i)}{0.001}} + 1\right) \times \frac{0.001}{z(w_i)}]
  其中，(z(w)) 是一个词的出现次数占所有词总出现次数的比例。随着 (z(w))（x轴）的增加，选择该词的概率（y轴）会急剧下降。
• 负采样问题 ：假设数据集中有10,000个唯一的词，即每个向量为10,000维。若要将其转换为300维向量，从隐藏层到输出层会有 (300×10,000 = 3,000,000) 个权重。如此多的权重可能导致过拟合和训练时间过长。负采样是解决此问题的一种方法，即不检查所有10,000维，而是选择输出为1（正确标签）的索引和5个标签为0的随机索引。这样，每次迭代中需要更新的权重数量从300万减少到 (300×6 = 1800) 个。在实际的Word2vec实现中，负索引的选择基于词的频