9、自然语言处理中的浅层迁移学习技术探索

自然语言处理中的浅层迁移学习技术探索

1. 高层表示的半监督学习

在自然语言处理中，受 word2vec 启发，有几种技术尝试将更大的文本片段嵌入到向量空间中，使得语义相似的句子在向量空间中更接近。这样我们就能对句子进行算术运算，以推断类比、组合含义等。

• 段落向量（doc2vec） ：它在总结预训练词嵌入时利用单词的拼接（而非平均）。
• 句子向量（sent2vec） ：它扩展了 word2vec 的经典连续词袋模型（CBOW），通过优化单词和单词 n - 元组嵌入以获得准确的平均表示，将其应用于句子。

下面我们以预训练的 sent2vec 模型为例，应用到 IMDB 电影分类示例中。

安装 sent2vec ：
可以直接从其托管的 URL 安装 sent2vec，执行以下命令：

pip install git+https://github.com/epfml/sent2vec

获取并加载预训练的 sent2vec 嵌入 ：
预训练的 sent2vec 句子嵌入可以从框架作者的 GitHub 页面和 Kaggle 上获取。为简单起见，我们选择最小的 600 维嵌入 wiki_unigrams.bin ，大小约为 5GB，它仅捕获了维基百科上的一元语法信息。使用以下代码加载：