9、深度学习中的生成模型与词嵌入技术

深度学习中的生成模型与词嵌入技术

1. 生成对抗网络（GANs）与WaveNet

生成对抗网络（GANs）通常由两个网络组成。一个网络负责生成看起来逼真的合成数据，另一个网络则用于区分真实数据和伪造数据。这两个网络不断竞争，从而相互促进、不断改进。通过开源代码，我们可以学习如何伪造看起来真实的MNIST和CIFAR - 10图像。

WaveNet是由Google DeepMind提出的深度生成网络，用于让计算机以令人印象深刻的质量重现人类语音和乐器声音。它基于扩张卷积网络，采用参数化的文本转语音方法直接生成原始音频。扩张卷积网络是一种特殊的卷积网络，其卷积滤波器存在空洞，使得感受野在深度上呈指数级增长，从而能够有效地覆盖数千个音频时间步。DeepMind展示了如何使用WaveNet合成人类语音和乐器声音，并改进了之前的先进技术。

2. 词嵌入概述

在自然语言处理（NLP）中，词嵌入是将词汇表中的单词或短语映射到实数向量的一组语言建模和特征学习技术的统称。词嵌入的目的是将文本中的单词转换为数值向量，以便可以使用需要向量作为数值输入的标准机器学习算法进行分析。

• 独热编码（One - Hot Encoding） ：这是最基本的嵌入方法，用一个与词汇表大小相同的向量来表示文本中的一个单词，只有对应单词的位置为1，其他位置都为0。然而，独热编码的一个主要问题是无法表示单词之间的相似性。在任何给定的语料库中，像（猫，狗）、（刀，勺子）等单词对应该具有一定的相似性，但独热编码向量之间的点积始终为0。
• 基于信息检索（IR）的技术 ：为了克服