Haward

1、情感分析1）数据： s1=’this is a good book’ s2=’this is a awesome book’ s3=’this is a bad book’ s4=’this is a terrible book’ 2）把数据处理成向量：（不关心单词出现的顺序） 统计上面文档出现过的所有单词有’this、is 、a 、good 、awesome、 bad、 te...

1、语言模型目的：克服one-hot、tf-idf方法中向量丢失句子中单词的位置关系信息1）2-gram假设语料库如下：John likes to watch movies. Mary likes too.John also likes to watch football games.2-gram建立索引如下：（把每个句子中相邻的2个单词用一个编码表示，不再是以前的一个单词一个...

1、NLTK一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库2、文本处理流程3、分词英文用NLTK，中文用jieba等，比较难处理时候，可能得借助正则表达式。4、复杂的词形处理数据的时候可能需要变化词形，分2中情况： 1）Inflection变化:不影响词性 walk⇒⇒\Rightarrow walking...