PoleToWin的博客

倒排表QA system 中 返回相似度最高的答案，对于知识库，需要计算N次相似度，O(N) 每次相似度计算的复杂度，无法满足实时性要求解决问题核心思想“层次过滤思想”遇到问题，O 输入，和所有问题匹配，10^6 多次过滤 -> 10 ^3 -> 10 ^2;最后通过余弦相似度比较最后5个…核心思想 过滤依次选取时间复杂度最快的，即过滤器1时间复杂度1>>过滤器...

introductionNLP=NLU+NLGU understanding G generationwhy nlp is harder than computer vision?CV 所见即所得文本->meaningchallenge: multiple ways to express the same meaningambiguity 一词多义(1)how to sol...

基于搜索的问答系统Question从知识库中寻找相似度最高的问题，返回对应问题的答案对于问题，首先进行分词，然后预处理：1）拼写检查2）寻找单词原型3）stop words4）words filter5）同义词然后文本的表示，将文本转换成向量的形式，结构化的数据，数学中的公式，文本方式:0,1,1,… Boolean vectorconst vectortf-if 形式w...

Measure similarity between wordsOne-hot 和预先相似度无法表示相似Another Issue: Sparsity我们 今天 打算 去 爬山过去的方法 向量的大小和词典大小相同但是大部分全是0，只有少数不是0，可能只有小于100个非0,10^5 都是0问题：不能表示语义相似度稀疏性Distributed Representation向量长度认...