word2vec学习笔记之文本向量化概述

最新推荐文章于 2025-09-10 21:45:34 发布

原创

最新推荐文章于 2025-09-10 21:45:34 发布 · 2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #nlp

本文介绍了NLP中常见的文本向量化技术，包括one-hot、tf-idf、n-gram、NNLM及word2vec，详细阐述了每种方法的工作原理及适用场景。

文章目录

- 1. one-hot
- 2. tfidf
- 3. n-gram
- 4. NNLM
- 5. word2vec

在NLP的处理中，我们需要讲文本输入到模型中处理，实现分类识别，文本生成或者翻译等工作。而模型是无法知道一个纯粹的文本是什么意思的，模型的输入只能是数字，比如连续型的小数或则离散的整数。而对于文本之类的无法直接用数字表示的数据可以通过一下几种方式处理。

1. one-hot

在机器学习中，我们经常使用该方法处理一些类别型的数据。比方说，在预测放假的时候，有一微特征表示几线城市，有“一线”，“新一线”,“二线”，“三线”，“四线”，“其他”等，那么当某一个特征的值为“二线”的时候，就可以表示为[0, 0, 1, 0, 0, 0]。在实现的时候，可使用sklearn进行one-hot编码。

# 例子来自sklearn的官方例子，https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html
>>> from sklearn.preprocessing import OneHotEncoder
>>> enc = OneHotEncoder(handle_unknown='ignore')
>>> X = [['Male', 1], ['Female', 3], ['Female', 2]]
>>> enc.fit(X)
OneHotEncoder(handle_unknown='ignore')
>>> enc.categories_
[array(['Female', 'Male'], dtype=object), array([1, 2, 3], dtype=object)]
>>> enc.transform([['Female', 1], ['Male', 4]]).toarray()
array([[1., 0., 1., 0., 0.],
       [0.