统计自然语言处理基础——学习摘要（1）

句子边界的启发式检测算法：
（1）在.?!(和可能的;:-)出现位置之后加一个假设的句子边界。
（2）如果假设边界后面有引号，那么把假设边界移到引号后面。
（3）除去以下情况中句点的边界资格：
-如果在句点之前是一个不总出现在句子末尾的众所周知的缩写形式，而且通常后面会跟一
个大写的名字，例如Prof.或者vs.。
-如果句点前面是一个众所周知的缩写形式，但是句点后面没有大写词。这样即可正确地处
理像etc.或者Jr.这样的大多数缩写用法，这些缩写一般出现在句子的中间或者末尾。
（4）如果下面的条件成立，则除去?或者!的边界资格：
-这些符号后面跟着一个小写字母（或者一个已知名字）。
（5）认为其他假设边界就是句子的边界。

检测句子边界可以看出是一个分类问题。