studyorlearn的博客

本文是学习N-GRAM-BASED LOW-DIMENSIONAL REPRESENTATION FOR DOCUMENT CLASSIFICATION 的笔记。如果英文好的，请直接看论文。 ngram是词袋模型的子类。对于提取上下文语义有重要意义，然而n很大时，维度将非常高，运算复杂度剧增。而工业界中的认为都对响应速度要求特别高。ngram低维表示能降低维度，大大提高效率。 ngram简介 语句...

语料匹配：主要是做相似度 需要解决的问题：距离的定义方式、词义语义表征的准确性 词义语义表征的准确性：词向量的性能、词向量的获取速度 词向量的性能：分词的效果、词义语义的性能 常用计算计算相似度的方法： 基于词向量：余弦相似度、曼哈顿距离、欧几里得距离、明氏距离 基于字符：编辑距离、simhash(适用于海量数据)、共有字符数 基于概率统计：杰卡德相似系数 基于词嵌入模型：word2vec 基...