44、网页文本挖掘：实体检索与情感分析

网页文本挖掘：实体检索与情感分析

1. 引言

在当今数据爆炸的时代，我们能够获取的数据量呈指数级增长，但处理这些数据以提取有价值信息的能力却相对滞后。企业中约 80% 或更多的数据是非结构化的，且大部分为文本形式；在日常生活中，我们接触的内容源也大多是文本。我们正处于“数据丰富但信息匮乏”的困境，因此，自动处理数据以挖掘其中有价值信息的技术变得至关重要，这也推动了数据挖掘，尤其是网页文本挖掘的发展。

网页数据挖掘主要包括三个方面：网页内容挖掘、网页链接挖掘和网页使用挖掘。本文聚焦于网页内容挖掘中的文本挖掘，特别是实体检索和情感分析这两个热门应用。

以一家跨国电子产品制造公司为例，为了在竞争激烈的市场中保持竞争力，该公司需要从大量的文本数据中获取两种关键情报：
- 情境情报 ：通过关注全球发生的可能影响业务的事件，如自然灾害、供应商变动、竞争对手新产品发布等，公司可以提前做好应对准备。这需要从供应商合同和新闻报道中提取相关信息，涉及信息提取和实体检索技术。
- 客户情报 ：了解客户对公司产品和服务的看法，包括优点和不足。这可以通过分析社交媒体、博客和评论网站上的用户评论来实现，主要运用情感分析技术。

2. 网页信息提取

2.1 信息提取概述

信息提取（IE）旨在从文本中识别和检索有价值的信息元素，类似于我们浏览文章时快速定位相关信息的过程。它是一种有限的文本理解形式，通过先定义要提取的语义信息类型，再基于语言分析和词汇模式自动识别这些信息。

在进行信息提取之前，除了常规的文本预处理任务（如去除停用词、