IR、NLP科普

2019独角兽企业重金招聘Python工程师标准>>>

IR、NLP科普

自然语言处理（Natural Language Processing, NLP）技术是信息检索的基础，它大致可以分为以下四个步骤： 1）文本预处理
如网页正文信息提取、去噪等。 2）句法分析
如中文分词、词性标注等。 3）语法分析
分析句子的句法结构，如一个句子中的主谓结构、动宾结构等语法成分，常用依存文法分析器就是一个语法分析工具。 4）语义分析
这步在语法分析的基础上，理解句子所蕴含的意思。
一般信息检索系统中只涉及前两个步骤，即预处理及句法分析。总的来说，上述四个步骤层层推进，对语言的理解也越来越深，且前一步骤是进行后续处理的基础，如语法分析一般在句法分析的基础上进行，句法分析的输入（分词以后的词序列）是语法分析的输入。
在信息检索过程中涉及到以下NLP技术： 1）去噪
检索任务通常面对的是网页文档，而一般网页中都会包含大量的标签（Tag）、导航信息等无用内容。我们关注的仅仅是网页的正文信息，即表达网页主题的那部分内容，其他都视为噪音。当然，对于不同的应用来说，对“噪音”的定义可能不尽相同。去噪的目的就是提取过滤掉网页那些无用的