17、自然语言处理中的关键概念与技术

自然语言处理中的关键概念与技术

1. N - gram编码与概率计算

N - gram是自然语言处理中常用的一种技术，它将文本拆分成连续的n个词的序列。例如给出了一些bigram（n = 2）的统计信息：

'pizza is': 11, 'is also': 7, 'also good': 0, 'san francisco': 12, 'francisco pizza': 6, 'pizza can': 10, 'can be': 2, 'be very': 1, 'very good': 14

同时，还给出了三句话的ngram编码：

I love Chicago deep dish pizza:
[[0 0 0 1 1 1 0 0 1 0 0 0 0 0 0 0]]
New York style pizza is also good: 
[[1 0 0 0 0 0 0 1 0 1 0 1 0 1 0 1]]
San Francisco pizza can be very good:
[[0 1 1 0 0 0 1 0 0 0 1 0 1 0 1 0]]

我们可以通过对比这些编码，来分析句子之间的相似性。

在计算概率方面，以一些简单的句子集合为例：

1) 'the mouse ate the cheese'
2) 'the horse ate the hay'
3