文本数据如何转换成计算机能够计算的数据

文本数据如何转换成计算机能够计算的数据

首先我们把语料读进来，然后要把作为文本信息的语料，转换为可以进行数学计算的数字形式。我们首先要统计语料中的所有词语（如果是中文的话还要先进行分词处理），然后建立一个字典，让每一个词语都唯一对应一个数字ID，最后再把每一句话都变成跟词语一一对应的一串数字ID，这个过程叫做tokenization，一般翻译成“标记化”或者“令牌化”。

---

1. 词袋模型（Bag of Words Model）

把文本（段落或者文档）看作无序的集合，忽略语法和单词的顺序，计算每个单词出现的次数

实战步骤：

例如有三句话语料

["机器学习带动人工智能飞速的发展。",

           "深度学习带动人工智能飞速的发展。",

           "机器学习和深度学习带动人工智能飞速的发展。"

          ] 

1.引入 jieba 分词器、语料和停用词集合

2.对语料进行分词操作，用到 lcut() 方法：

3.去掉停用词和标点符号

4.把所有的分词放到一个袋子（List）里面，取并集，去重，得到特征词结果

['飞速', '的', '深度', '人工智能', '发展&#