语义表示——神经网络与深度学习

语义鸿沟是人工智能的挑战之一。

底层特征 VS 高层语义

人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得。

底层特征和高层语义之间建立直接的映射十分困难。

例如对于一张简单的照片，我们拿到最底层的特征——图像的像素，比如一些红色、蓝色的像素，将这些底层特征和高层语义建立关系其实是非常难的，也就是说想建立一个直接的映射非常困难；例如一张情侣照片，人眼很容易根据图片的信息判断是情侣关系，但是从底层特征中是看不到的，特别是照片中含有很多噪声（不重要的背景信息），这对模型的预测会产生很多干扰，所以我们需要从底层的特征中抽取出蕴含高层语义的特征； 例如对于文本信息，我们接收到的底层特征是一个个的字，但是组合到一起的，我们知道这是一首诗且表达思乡的情绪，这些通过表面的字符是没办法简单得到的。

所以我们需要从这些底层特征中构造出一些表示，这些表示蕴含高层的语义特征。

“好的表示”是一个非常主观的概念，没有一个明确的标准，但一般而言，好的表示具有以下几个优点：

1、应该具有很强的表示能力，同样的一个空间能表示更多的语义； 

2、应该使后续的学习任务变得简单，用一个简单的模型就能完成任务，而不用涉及复杂分类器；

3、应该具有一般性，也就是说不能在这些数据上好，另外一些数据差。

数据表示是机器学习的核心问题。

表示形式：如何在计算机中表示语义？

局部表示 VS 分布式表示