自然语言处理—初始自然语言处理技术—自然语言处理的前置技术

（一）正则表达式在NLP中的应用

正则表达式简介

正则表达式是一种定义了搜索模式的特征序列，主要是用于字符串的模式匹配，或是字符的匹配。正则表达式是处理NLP的最基本的手段之一。

正则表达式的作用之一是将文档内容从非结构化转为结构化以便后续的文本挖掘。

正则表达式的另一个作用就是去除“噪声”。在处理大量文本片段的时候有非常多的文字信息与最终输出的文本无关，这些无关的片段称之为“噪声”，比如 URL 或链接、语气助词、标点符号等。

匹配字符串

在python中，使用re模块来实现正则表达式。

通过使用re.search(regex,string)这个方法，我们可以检查这个string字符串是否匹配正则表达式regex。如果匹配搭配，这个表达式会返回一个match对象，如果没有匹配到则返回None。

例如：获取包含“爬虫”这个关键字的句子。

import re
text_string="文本最重要的来源无疑是网络。我们要把网络中的文本获取形成一个文本数据库。利用一个爬虫抓取到网络中的信息。爬取的策略有广度爬取和深度爬取。根据用户的需求,爬虫可以有主题爬虫和通用爬虫之分"
regex='爬虫'
p_string= text_string.split('。')      # 以句号为分隔符通过split切分
for line in p_string :
  if re.search( regex,line) is not None:     # search方法是用来查找匹配当前行是否匹配这个 regex,返回的是一个 match对象
        print(line)     # 如果匹配到,打印这行信息

输出：

利用一个爬虫抓取到网络中的信息