qq_44292472的博客

自然语言学习笔记自然语言自然语言研究的两问题自然语言的理解NLP（自然语言处理（AI分支））相关学习链接自然语言自然语言通常是指一种自然地随文化演化的语言。例如，英语、汉语、日语为自然语言的例子，这一种用法可见于自然语言处理一词中。自然语言是人类交流和思维的主要工具。 自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的，也是各国人表...

词性标注（二）分词分词是自然语言处理的基础，分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。英文语句使用空格将单词进行分隔，除了某些特定词，如how many，New York等外，大部分情况下不需要考虑分词问题。但中文不同，天然缺少分隔符，需要读者自行分词和断句。故在做中文自然语言处理时，我们需要先进行分词。中文分词的三个难点中文分词不像英文那样，天然有空格作为分...

词性标注（一）前言词性标注也被称为语法标注或词类消疑，是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术。词性标注可以由人工或特定算法完成，使用机器学习方法实现词性标注是自然语言处理的研究内容。常见的词性标注算法包括隐马尔可夫模型、条件随机场等。词性标注主要被应用于文本挖掘和NLP领域，是各类基于文本的机器学习任务，例如语义分析和指代消解的预处理步骤。隐马...