ruijieli_的博客

关于自然语言处理的资料已经非常多，对于英文文本的处理步骤和方式在这里给大家整理一下：一般来说英文文本处理有几以下几个步骤：（1）分词操作：分词应该是所有自然语言处理首先都需要做的，那么分词有以下几种方法供给大家参考1.TextBlob包中提供的分词操作用法：text.word,其中text为文本名称2.NLTK包中的分词方法：word_tokenize(text)3.split方法做分词：因为英文单词本来就有空格，所以直接使用空格作为词语之间的间隔判断：text.split()(2)小写转化：

找了很多资料想要将自己数据集中相同id的行进行整合，（单纯数据合并）：例如数据：id name review1 mi good1 mi great2 k nice2 k really合并之后效果：id name review1 mi [good,great]2 k [nice