《Graph Neural Networks Foundations,Frontiers and Applications》第一部分第一章第1.2.3节翻译和解读

书名：《Graph Neural Networks Foundations,Frontiers and Applications》(图神经网络的基础、前沿和应用)

出版社：Springer Berlin Heidelberg

作者：Lingfei Wu · Peng Cui · Jian Pei · Liang Zhao

红色部分为个人的一些解读，不足之处请多多指点！

第一部分 引言

第一章 表示学习

第1.2节 不同领域的表示学习

第1.2.3节 自然语言处理中的表示学习

        除了语音识别之外，还有许多其他自然语言处理（NLP）在表示学习中的应用，例如文本表示学习。例如，谷歌的图像搜索基于NLP技术，利用大量数据在同一空间中绘制图像和查询（Weston等人，2010年）。一般来说，在NLP中有两种类型的表示学习应用。在一种类型中，语义表示（如单词嵌入）在预训练任务中进行训练（或由人类专家直接设计），并传输到目标任务的模型中。它通过使用语言建模目标进行训练，并作为其他下游NLP模型的输入。在另一种类型中，语义表示位于深度学习模型的隐藏状态中，直接目的是以端到端的方式更好地执行目标任务。例如，许多NLP任务都希望在语义上组成句子或文档表示，如情感分类、