9、词性标注与支持向量机：自然语言处理的关键技术

词性标注与支持向量机：自然语言处理的关键技术

1. 词性标注基础与Markov模型

在自然语言处理中，词性标注是一项重要任务。例如，对于句子 “Most important of all, the less developed countries must be persuaded to take the necessary steps to allocate and commit their own resources.” ，我们需要为每个单词标注其词性。这里的 “Most” 是限定词（ql），“important” 是形容词（jj）等。

在编写Markov模型时，为了衡量从一个状态转移到另一个状态的概率，我们需要考虑当前单词和前一个单词。由于句子开头的单词没有前一个单词，我们引入特殊标记 “START” 来表示序列的开始。这样就能计算从 “START” 到限定词等词性的概率。

2. 词性标注器的编码与测试设计

为了实现词性标注器，我们采用两个类：
- CorpusParser ：负责解析Brown语料库。
- POSTagger ：根据语料库训练数据为新数据进行词性标注。

以下是相关代码示例：

import unittest

class CorpusParserTest(unittest.TestCase):
    def setUp():
        self.stream = "\tSeveral/ap defendants/nns ./.\n"