本文通过实例解析N-gram模型，介绍了unigram、bigram及trigram的概念，并探讨了序列间overlap的计算方法，强调了在计算overlap时不必严格对应相同位置。
查到的大多数博客写的都比较复杂，在看到一个stanford cs276的课件之后，决定按照自己的理解来写一点，权做抛砖引玉了。
假定给予两个词
november
december
则unibram是
n o v e m b e r
d e c e m b e r
bigram是
no ov ve em mb be er
de ec ce em mb be er
trigram是
nov ove vem emb mbe ber
dec ece cem emb mbe ber
如果在计算两个序列之间的overlap的时候，比如对于trigram而言，其
X∪Y= 9
X∩Y =3
因此其overlap是3/9
而在276课件中，是提到了X与Y可以为不同长度。因此，我认为在X和Y的overlap比对中，并不一定需要相同位置的两个一样，即对顺序不敏感。意思是说
nov emb mbe ber ove vem和dec ece cem emb mbe ber的overlap也是3/9
276 课件链接
https://web.stanford.edu/class/cs276/handouts/lecture3-tolerant-retrieval-handout-1-per.pdf
扫一扫
758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
