（二）简单的NLP实例

1、情感分析

1）数据：
s1=’this is a good book’
s2=’this is a awesome book’
s3=’this is a bad book’
s4=’this is a terrible book’
2）把数据处理成向量：（不关心单词出现的顺序）
统计上面文档出现过的所有单词有’this、is 、a 、good 、awesome、 bad、 terrible、 book’共8个；
句子例如：s1=[1 1 1 1 0 0 0 1]表示awesome、 bad、 terrible没出现，其他单词都出现，句子长度为所有单词总数8。
3）分别给句子s1、s2、s3、s4贴上lable作为训练集，然后用ML方法训练

2、文本相似度

we	you	he	work	happy	are
1	0	3	0	1	1
1	0	2	0	1	1
0	1	0	1	0	0

表格中，第一行表示句子”he he he,we are happy”,其他类似，不关心单词出现的顺序，即用元素评率表示文本特征，则文本的相似度计算如下：

$$similarity=cos(\theta )=\frac{A\cdot B}{\left \| A\right \| \left \| B\right \|}$$

3、文本分类

1）TF-IDF概念

TF: 即Term Frequency, 用来衡量⼀个term在⽂档中出现得有多频繁
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数)

IDF: Inverse Document Frequency, 衡量⼀个term有多重要。
IDF(t) = log_e(⽂档总数 / 含有t的⽂档总数).

TF-IDF = TF * IDF

2）TF-IDF实例

⼀个⽂档有100个单词，其中单词baby出现了3次；且一共有10M的⽂档， baby出现在其中的1000个⽂档中。
那么，

$$TF(baby) = (3/100) = 0.03$$

$$IDF(baby) = log(10,000,000 / 1,000) = 4$$

$$TF-IDF(baby) = TF(baby) * IDF(baby) = 0.03 * 4 = 0.12$$

3)NLTK实现TF-IDF