LiQingBB的博客

自然语言处理中，用one-hot编码只能表示单词的索引，但是单词和单词之间的关系却没有办法表现出来，将单词处理为密集词向量，就可以用余弦距离表示两个单词的相似程度。 one-hot编码 假如全世界只有5个单词，a cat watch the TV。那么我们可以把每个单词用一个五维向量表示： a=[1,0,0,0,0]| cat=[0,1,0,0,0] watch=[0,0,1,0,0] the...

KerasKerasKeras主要有2中模型，SequentialSequentialSequential模型和ModelModelModel模型。 SequentialSequentialSequential模型： 模型 from keras.models import Sequential from keras.layers import Flatten,Dense,Embedding mo...

中文分词一般有3中方法： 基于规则 基于统计 混合算法 基于规则 基于规则是说，我们按照一定的规则去将中文文本分类，最常见的方法就是正向最大匹配算法、逆向最大匹配算法和双向最大匹配算法。 正向最大匹配法 什么是正向最大匹配算法呢？ 很简单，首先我们有一个预先定义好的词典，词典里面存放者目前已知的所有词语，假设词典中最大长度的词语长度是6，然后我们会从左往右，匹配词典中长度为6的词语，若是匹配到...