「机器学习_8」Bag-of-Words

                      Bag-of-Words

1.文字问题

2. 什么是Bag-of-Words(具体例子）

3. 局限性

 

1.文字问题

文本建模的一个问题是它很杂乱，机器学习算法之类的技术更喜欢定义明确的固定长度输入和输出。

机器学习算法无法直接处理原始文本；文本必须转换为数字。具体来说，是数字向量。

在语言处理中，矢量x是从文本数据中导出的，以便反映文本的各种语言特性。

这称为特征提取或特征编码。

一种流行且简单的使用文本数据进行特征提取的方法称为 Bag-of-Words.

 

2. 什么是Bag-of-Words

词袋模型或简称BoW是一种从文本中提取特征以用于建模的方法，例如用于机器学习算法。

该方法非常简单和灵活，可以用于从文档提取特征的多种方式。

词袋是描述文档中单词出现的文本表示。它涉及两件事：

1. 已知单词的词汇表。
2. 已知单词存在的一种度量。

它被称为单词的“ 袋 ”，因为有关文档中单词顺序或结构的任何信息都将被丢弃。该模型仅关注已知单词是否出现在文档中，而不关注文档中的何处。