wangheng673的博客

在自然语言处理（NLP）领域，我们通常第一步是词向量转换，例如对于一个语句：“我今天下午打篮球”，首先我们需要进行分词处理：“我  今天  下午  打  篮球”令 = "我" = "今天" = "下午" = "打" = "篮球"1.普通语言模型定义语言模型：优化P(s)达到最大。普通语言模型存在的问题：1.参数空间太大2.数据过于稀疏...

对于一些标点符号，停用词这些信息对于我们对语义分析基本上没什么作用，比如“一个苹果”和“一些苹果”说的都是苹果，即使没有这些停用词，我们说的还是苹果。因此停用词我们可以直接给丢弃掉。计算向量相似度：http://blog.christianperone.com/2013/09/machine-learning-cosine-similarity-for-vector-spac...